1. 为什么选择PyTorch实现MNIST手写数字识别MNIST手写数字识别堪称深度学习界的Hello World。这个包含6万张28x28像素灰度图像的数据集自1998年发布以来已成为检验机器学习算法的基础试金石。选择PyTorch作为实现框架主要基于以下几个关键考量首先从框架特性来看PyTorch的动态计算图机制称为define-by-run让调试过程变得直观。与静态图框架相比可以像普通Python代码一样逐行执行和检查变量这对初学者理解神经网络的前向传播和反向传播过程特别友好。我在2017年刚接触深度学习时就曾因TensorFlow的静态图机制在调试时吃尽苦头直到转向PyTorch才真正理解了模型训练的完整流程。从硬件适配角度PyTorch对GPU的支持非常完善。只需简单调用.to(device)就能将模型和数据在CPU/GPU之间切换底层CUDA优化由框架自动完成。实测在RTX 3060显卡上PyTorch训练MNIST的每个epoch仅需3秒左右比纯CPU快20倍以上。这对需要反复实验的超参数调优至关重要。社区生态方面PyTorch已成为学术界的事实标准。arXiv上约70%的新论文都提供PyTorch实现这意味着遇到问题时更容易找到解决方案。像torchvision这样的官方扩展库直接内置了MNIST数据集的下载和预处理功能三行代码就能完成数据加载from torchvision import datasets train_data datasets.MNIST(rootdata, trainTrue, downloadTrue) test_data datasets.MNIST(rootdata, trainFalse)从学习曲线来看PyTorch的API设计非常Pythonic。例如构建神经网络只需继承nn.Module类其组织方式与面向对象编程思维天然契合。对比其他框架PyTorch代码通常更简洁易读——这对教学演示尤为重要。以下是两种框架构建相同CNN的代码量对比操作PyTorch代码行数TensorFlow代码行数网络定义1522训练循环2035总行数3557经验分享初学者常见的一个误区是过早追求框架的生产环境性能。实际上像MNIST这样的入门项目框架的易用性和可调试性远比那几毫秒的执行差异重要。PyTorch在这点上做到了很好的平衡。从行业趋势看2024年的Stack Overflow开发者调查显示PyTorch在深度学习框架中的使用率已达58%较TensorFlow的34%优势明显。许多企业也开始将PyTorch模型部署到生产环境这意味着学到的技能可以直接迁移到工作实际中。2. 环境配置与数据准备2.1 开发环境搭建搭建正确的开发环境是避免后续各种诡异错误的关键。推荐使用conda创建独立的Python环境这能有效解决包依赖冲突问题。以下是经过数十次实践验证的稳定版本组合conda create -n pytorch_env python3.8 conda activate pytorch_env conda install pytorch1.12.1 torchvision0.13.1 torchaudio0.12.1 cudatoolkit11.3 -c pytorch这个组合中PyTorch 1.12.1是长期支持版本与CUDA 11.3的兼容性经过充分验证。如果使用30系/40系NVIDIA显卡需要确保已安装对应版本的显卡驱动。验证GPU是否可用import torch print(torch.cuda.is_available()) # 应输出True print(torch.rand(2,3).cuda()) # 应正常输出张量踩坑提醒千万不要盲目安装最新版PyTorch我曾遇到PyTorch 2.0与某些扩展库不兼容的情况。对于MNIST这种经典任务稳定性比新特性更重要。2.2 数据加载与预处理MNIST数据集虽然简单但正确处理数据管道能显著提升训练效率。torchvision提供的transforms模块可以构建完整的数据预处理流程from torchvision import transforms transform transforms.Compose([ transforms.ToTensor(), # 转为[0,1]范围的张量 transforms.Normalize((0.1307,), (0.3081,)) # MNIST的均值和标准差 ])这里的归一化参数(0.1307, 0.3081)是MNIST数据集的标准统计值将像素值从[0,1]调整到大约[-1,1]范围这对神经网络训练的稳定性至关重要。加载数据时建议使用DataLoader实现批量处理和并行加载from torch.utils.data import DataLoader train_loader DataLoader( datasets.MNIST(data, trainTrue, downloadTrue, transformtransform), batch_size64, shuffleTrue, num_workers4) test_loader DataLoader( datasets.MNIST(data, trainFalse, transformtransform), batch_size1000, shuffleTrue, num_workers4)参数设置技巧batch_size64 是兼顾内存占用和梯度稳定性的折中选择num_workers4 表示使用4个子进程加载数据可加速IO但不宜超过CPU核心数shuffleTrue 确保每个epoch的数据顺序不同避免模型学习到顺序偏差可视化检查是验证数据处理正确性的重要步骤。使用matplotlib显示一个batch的数据import matplotlib.pyplot as plt images, labels next(iter(train_loader)) plt.figure(figsize(10,5)) for i in range(10): plt.subplot(2,5,i1) plt.imshow(images[i][0], cmapgray) plt.title(fLabel: {labels[i]}) plt.show()3. CNN模型构建与原理剖析3.1 网络架构设计对于MNIST手写数字识别经典的LeNet-5架构仍然表现出色。以下是基于PyTorch的实现import torch.nn as nn import torch.nn.functional as F class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 nn.Conv2d(1, 6, 5, padding2) # 输入1通道输出6通道 self.pool nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.fc1 nn.Linear(16*5*5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 28x28 - 14x14 x self.pool(F.relu(self.conv2(x))) # 14x14 - 5x5 x x.view(-1, 16*5*5) # 展平 x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x各层设计的数学原理conv1使用5x5卷积核padding2保持空间尺寸不变(28x28)max pooling使用2x2窗口步长2将尺寸减半conv2同样使用5x5卷积无padding输出特征图尺寸计算为(14-5)/1 1 10第二个pooling将10x10变为5x5三个全连接层逐步压缩特征维度到10类输出架构选择经验虽然更复杂的网络如ResNet也能用于MNIST但会导致严重过拟合。LeNet的参数数量约6万与MNIST的6万训练样本形成良好平衡。3.2 关键组件原理解析卷积层工作原理 每个卷积核在输入图像上滑动计算点积并加上偏置项。对于第一个卷积层输入1通道的28x28图像卷积核6个5x5的核每个核有5x525个权重参数和1个偏置输出6通道的28x28特征图因padding2参数总量(5x51)x6 156激活函数选择 ReLU(Rectified Linear Unit)相比传统的sigmoid有三大优势计算简单max(0,x)无需指数运算缓解梯度消失正区间的梯度恒为1稀疏激活约50%的神经元会被置零池化层作用 2x2最大池化实现空间下采样具有局部平移不变性。即使数字在图像中轻微移动仍能捕获相同特征。同时减少后续计算量约75%。4. 模型训练与优化技巧4.1 训练流程实现完整的训练循环包含以下几个关键部分model LeNet().to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9) def train(epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) optimizer.zero_grad() output model(data) loss criterion(output, target) loss.backward() optimizer.step() if batch_idx % 100 0: print(fTrain Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} f ({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f})超参数设置解析学习率lr0.01经过实验大于0.1会导致震荡小于0.001收敛过慢momentum0.9加速收敛帮助越过局部极小值batch_size64在GPU内存允许范围内尽可能大提高并行效率4.2 验证与测试测试集评估需要特别注意模型切换到eval模式def test(): model.eval() test_loss 0 correct 0 with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() pred output.argmax(dim1, keepdimTrue) correct pred.eq(target.view_as(pred)).sum().item() test_loss / len(test_loader.dataset) print(f\nTest set: Average loss: {test_loss:.4f}, fAccuracy: {correct}/{len(test_loader.dataset)} f({100. * correct / len(test_loader.dataset):.0f}%)\n)训练过程中的典型输出Train Epoch: 1 [0/60000 (0%)] Loss: 2.302585 ... Test set: Average loss: 0.0008, Accuracy: 9176/10000 (92%)4.3 性能优化技巧学习率调度 使用StepLR在特定epoch衰减学习率scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1)早停机制 当验证集准确率连续3个epoch不提升时终止训练if test_acc best_acc: best_acc test_acc patience 0 else: patience 1 if patience 3: break混合精度训练 使用apex库减少显存占用from apex import amp model, optimizer amp.initialize(model, optimizer, opt_levelO1) with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward()5. 结果分析与模型部署5.1 性能评估指标在MNIST上除了准确率还应关注混淆矩阵发现易混淆数字对如7和9每类精确率/召回率识别模型在特定数字上的弱点推理时间单张图片的预测耗时使用sklearn生成混淆矩阵from sklearn.metrics import confusion_matrix import seaborn as sns y_true, y_pred [], [] with torch.no_grad(): for data, target in test_loader: data data.to(device) output model(data) pred output.argmax(dim1) y_true.extend(target.cpu().numpy()) y_pred.extend(pred.cpu().numpy()) cm confusion_matrix(y_true, y_pred) plt.figure(figsize(10,8)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.xlabel(Predicted) plt.ylabel(Actual) plt.show()5.2 错误案例分析收集预测错误的样本进行分析errors [] with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) pred output.argmax(dim1) mask pred ! target if mask.any(): errors.append((data[mask], target[mask], pred[mask]))常见错误类型书写不规范的数字如连笔的4和9倾斜角度过大的样本笔画断裂的数字5.3 模型部署方案方案一保存为TorchScriptscript_model torch.jit.script(model) torch.jit.save(script_model, mnist_cnn.pt)加载预测model torch.jit.load(mnist_cnn.pt) output model(torch.rand(1,1,28,28)) # 模拟输入方案二ONNX格式导出dummy_input torch.randn(1, 1, 28, 28, devicedevice) torch.onnx.export(model, dummy_input, mnist.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}})Web部署示例使用Flaskfrom flask import Flask, request, jsonify import torch from PIL import Image import io app Flask(__name__) model torch.jit.load(mnist_cnn.pt) app.route(/predict, methods[POST]) def predict(): file request.files[file] img Image.open(io.BytesIO(file.read())).convert(L) img transforms.ToTensor()(img).unsqueeze(0) with torch.no_grad(): output model(img) return jsonify({prediction: int(output.argmax())}) if __name__ __main__: app.run(host0.0.0.0, port5000)6. 项目扩展与进阶方向6.1 数据增强改进原始MNIST缺乏多样性可通过增强提升模型鲁棒性transform transforms.Compose([ transforms.RandomRotation(10), transforms.RandomAffine(0, translate(0.1,0.1)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])6.2 模型架构演进尝试更现代的架构class ImprovedCNN(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Conv2d(1,32,3,padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32,64,3,padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), nn.Dropout(0.25), nn.Flatten(), nn.Linear(64*14*14, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Dropout(0.5), nn.Linear(128, 10) )6.3 迁移学习应用使用预训练模型的特征提取器from torchvision.models import resnet18 model resnet18(pretrainedTrue) model.conv1 nn.Conv2d(1, 64, kernel_size7, stride2, padding3, biasFalse) model.fc nn.Linear(512, 10)6.4 部署优化技术量化减少模型大小加速推理TensorRTNVIDIA的推理优化引擎ONNX Runtime跨平台高性能推理# 动态量化示例 quantized_model torch.quantization.quantize_dynamic( model, {nn.Linear}, dtypetorch.qint8) PyTorch实现MNIST手写数字识别：从原理到部署
1. 为什么选择PyTorch实现MNIST手写数字识别MNIST手写数字识别堪称深度学习界的Hello World。这个包含6万张28x28像素灰度图像的数据集自1998年发布以来已成为检验机器学习算法的基础试金石。选择PyTorch作为实现框架主要基于以下几个关键考量首先从框架特性来看PyTorch的动态计算图机制称为define-by-run让调试过程变得直观。与静态图框架相比可以像普通Python代码一样逐行执行和检查变量这对初学者理解神经网络的前向传播和反向传播过程特别友好。我在2017年刚接触深度学习时就曾因TensorFlow的静态图机制在调试时吃尽苦头直到转向PyTorch才真正理解了模型训练的完整流程。从硬件适配角度PyTorch对GPU的支持非常完善。只需简单调用.to(device)就能将模型和数据在CPU/GPU之间切换底层CUDA优化由框架自动完成。实测在RTX 3060显卡上PyTorch训练MNIST的每个epoch仅需3秒左右比纯CPU快20倍以上。这对需要反复实验的超参数调优至关重要。社区生态方面PyTorch已成为学术界的事实标准。arXiv上约70%的新论文都提供PyTorch实现这意味着遇到问题时更容易找到解决方案。像torchvision这样的官方扩展库直接内置了MNIST数据集的下载和预处理功能三行代码就能完成数据加载from torchvision import datasets train_data datasets.MNIST(rootdata, trainTrue, downloadTrue) test_data datasets.MNIST(rootdata, trainFalse)从学习曲线来看PyTorch的API设计非常Pythonic。例如构建神经网络只需继承nn.Module类其组织方式与面向对象编程思维天然契合。对比其他框架PyTorch代码通常更简洁易读——这对教学演示尤为重要。以下是两种框架构建相同CNN的代码量对比操作PyTorch代码行数TensorFlow代码行数网络定义1522训练循环2035总行数3557经验分享初学者常见的一个误区是过早追求框架的生产环境性能。实际上像MNIST这样的入门项目框架的易用性和可调试性远比那几毫秒的执行差异重要。PyTorch在这点上做到了很好的平衡。从行业趋势看2024年的Stack Overflow开发者调查显示PyTorch在深度学习框架中的使用率已达58%较TensorFlow的34%优势明显。许多企业也开始将PyTorch模型部署到生产环境这意味着学到的技能可以直接迁移到工作实际中。2. 环境配置与数据准备2.1 开发环境搭建搭建正确的开发环境是避免后续各种诡异错误的关键。推荐使用conda创建独立的Python环境这能有效解决包依赖冲突问题。以下是经过数十次实践验证的稳定版本组合conda create -n pytorch_env python3.8 conda activate pytorch_env conda install pytorch1.12.1 torchvision0.13.1 torchaudio0.12.1 cudatoolkit11.3 -c pytorch这个组合中PyTorch 1.12.1是长期支持版本与CUDA 11.3的兼容性经过充分验证。如果使用30系/40系NVIDIA显卡需要确保已安装对应版本的显卡驱动。验证GPU是否可用import torch print(torch.cuda.is_available()) # 应输出True print(torch.rand(2,3).cuda()) # 应正常输出张量踩坑提醒千万不要盲目安装最新版PyTorch我曾遇到PyTorch 2.0与某些扩展库不兼容的情况。对于MNIST这种经典任务稳定性比新特性更重要。2.2 数据加载与预处理MNIST数据集虽然简单但正确处理数据管道能显著提升训练效率。torchvision提供的transforms模块可以构建完整的数据预处理流程from torchvision import transforms transform transforms.Compose([ transforms.ToTensor(), # 转为[0,1]范围的张量 transforms.Normalize((0.1307,), (0.3081,)) # MNIST的均值和标准差 ])这里的归一化参数(0.1307, 0.3081)是MNIST数据集的标准统计值将像素值从[0,1]调整到大约[-1,1]范围这对神经网络训练的稳定性至关重要。加载数据时建议使用DataLoader实现批量处理和并行加载from torch.utils.data import DataLoader train_loader DataLoader( datasets.MNIST(data, trainTrue, downloadTrue, transformtransform), batch_size64, shuffleTrue, num_workers4) test_loader DataLoader( datasets.MNIST(data, trainFalse, transformtransform), batch_size1000, shuffleTrue, num_workers4)参数设置技巧batch_size64 是兼顾内存占用和梯度稳定性的折中选择num_workers4 表示使用4个子进程加载数据可加速IO但不宜超过CPU核心数shuffleTrue 确保每个epoch的数据顺序不同避免模型学习到顺序偏差可视化检查是验证数据处理正确性的重要步骤。使用matplotlib显示一个batch的数据import matplotlib.pyplot as plt images, labels next(iter(train_loader)) plt.figure(figsize(10,5)) for i in range(10): plt.subplot(2,5,i1) plt.imshow(images[i][0], cmapgray) plt.title(fLabel: {labels[i]}) plt.show()3. CNN模型构建与原理剖析3.1 网络架构设计对于MNIST手写数字识别经典的LeNet-5架构仍然表现出色。以下是基于PyTorch的实现import torch.nn as nn import torch.nn.functional as F class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 nn.Conv2d(1, 6, 5, padding2) # 输入1通道输出6通道 self.pool nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.fc1 nn.Linear(16*5*5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 28x28 - 14x14 x self.pool(F.relu(self.conv2(x))) # 14x14 - 5x5 x x.view(-1, 16*5*5) # 展平 x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x各层设计的数学原理conv1使用5x5卷积核padding2保持空间尺寸不变(28x28)max pooling使用2x2窗口步长2将尺寸减半conv2同样使用5x5卷积无padding输出特征图尺寸计算为(14-5)/1 1 10第二个pooling将10x10变为5x5三个全连接层逐步压缩特征维度到10类输出架构选择经验虽然更复杂的网络如ResNet也能用于MNIST但会导致严重过拟合。LeNet的参数数量约6万与MNIST的6万训练样本形成良好平衡。3.2 关键组件原理解析卷积层工作原理 每个卷积核在输入图像上滑动计算点积并加上偏置项。对于第一个卷积层输入1通道的28x28图像卷积核6个5x5的核每个核有5x525个权重参数和1个偏置输出6通道的28x28特征图因padding2参数总量(5x51)x6 156激活函数选择 ReLU(Rectified Linear Unit)相比传统的sigmoid有三大优势计算简单max(0,x)无需指数运算缓解梯度消失正区间的梯度恒为1稀疏激活约50%的神经元会被置零池化层作用 2x2最大池化实现空间下采样具有局部平移不变性。即使数字在图像中轻微移动仍能捕获相同特征。同时减少后续计算量约75%。4. 模型训练与优化技巧4.1 训练流程实现完整的训练循环包含以下几个关键部分model LeNet().to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9) def train(epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) optimizer.zero_grad() output model(data) loss criterion(output, target) loss.backward() optimizer.step() if batch_idx % 100 0: print(fTrain Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} f ({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f})超参数设置解析学习率lr0.01经过实验大于0.1会导致震荡小于0.001收敛过慢momentum0.9加速收敛帮助越过局部极小值batch_size64在GPU内存允许范围内尽可能大提高并行效率4.2 验证与测试测试集评估需要特别注意模型切换到eval模式def test(): model.eval() test_loss 0 correct 0 with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() pred output.argmax(dim1, keepdimTrue) correct pred.eq(target.view_as(pred)).sum().item() test_loss / len(test_loader.dataset) print(f\nTest set: Average loss: {test_loss:.4f}, fAccuracy: {correct}/{len(test_loader.dataset)} f({100. * correct / len(test_loader.dataset):.0f}%)\n)训练过程中的典型输出Train Epoch: 1 [0/60000 (0%)] Loss: 2.302585 ... Test set: Average loss: 0.0008, Accuracy: 9176/10000 (92%)4.3 性能优化技巧学习率调度 使用StepLR在特定epoch衰减学习率scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1)早停机制 当验证集准确率连续3个epoch不提升时终止训练if test_acc best_acc: best_acc test_acc patience 0 else: patience 1 if patience 3: break混合精度训练 使用apex库减少显存占用from apex import amp model, optimizer amp.initialize(model, optimizer, opt_levelO1) with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward()5. 结果分析与模型部署5.1 性能评估指标在MNIST上除了准确率还应关注混淆矩阵发现易混淆数字对如7和9每类精确率/召回率识别模型在特定数字上的弱点推理时间单张图片的预测耗时使用sklearn生成混淆矩阵from sklearn.metrics import confusion_matrix import seaborn as sns y_true, y_pred [], [] with torch.no_grad(): for data, target in test_loader: data data.to(device) output model(data) pred output.argmax(dim1) y_true.extend(target.cpu().numpy()) y_pred.extend(pred.cpu().numpy()) cm confusion_matrix(y_true, y_pred) plt.figure(figsize(10,8)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.xlabel(Predicted) plt.ylabel(Actual) plt.show()5.2 错误案例分析收集预测错误的样本进行分析errors [] with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) pred output.argmax(dim1) mask pred ! target if mask.any(): errors.append((data[mask], target[mask], pred[mask]))常见错误类型书写不规范的数字如连笔的4和9倾斜角度过大的样本笔画断裂的数字5.3 模型部署方案方案一保存为TorchScriptscript_model torch.jit.script(model) torch.jit.save(script_model, mnist_cnn.pt)加载预测model torch.jit.load(mnist_cnn.pt) output model(torch.rand(1,1,28,28)) # 模拟输入方案二ONNX格式导出dummy_input torch.randn(1, 1, 28, 28, devicedevice) torch.onnx.export(model, dummy_input, mnist.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}})Web部署示例使用Flaskfrom flask import Flask, request, jsonify import torch from PIL import Image import io app Flask(__name__) model torch.jit.load(mnist_cnn.pt) app.route(/predict, methods[POST]) def predict(): file request.files[file] img Image.open(io.BytesIO(file.read())).convert(L) img transforms.ToTensor()(img).unsqueeze(0) with torch.no_grad(): output model(img) return jsonify({prediction: int(output.argmax())}) if __name__ __main__: app.run(host0.0.0.0, port5000)6. 项目扩展与进阶方向6.1 数据增强改进原始MNIST缺乏多样性可通过增强提升模型鲁棒性transform transforms.Compose([ transforms.RandomRotation(10), transforms.RandomAffine(0, translate(0.1,0.1)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])6.2 模型架构演进尝试更现代的架构class ImprovedCNN(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Conv2d(1,32,3,padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32,64,3,padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), nn.Dropout(0.25), nn.Flatten(), nn.Linear(64*14*14, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Dropout(0.5), nn.Linear(128, 10) )6.3 迁移学习应用使用预训练模型的特征提取器from torchvision.models import resnet18 model resnet18(pretrainedTrue) model.conv1 nn.Conv2d(1, 64, kernel_size7, stride2, padding3, biasFalse) model.fc nn.Linear(512, 10)6.4 部署优化技术量化减少模型大小加速推理TensorRTNVIDIA的推理优化引擎ONNX Runtime跨平台高性能推理# 动态量化示例 quantized_model torch.quantization.quantize_dynamic( model, {nn.Linear}, dtypetorch.qint8)