直接进入正题。熟悉我的读者应该知道这是《从零搭深度学习模型》系列的第三篇。前两篇我们把注意力放在张量操作、自动求导、训练循环这些底盘功夫上这篇开始进入真正的“重头戏”——针对结构数据的模型架构设计具体拆解 CNN卷积神经网络和 RNN循环神经网络这两套经典框架。为什么要把这两者放在一起讲因为它们处理的“结构数据”恰好代表了两种最典型的数据形态CNN 擅长的空间结构图片里的局部像素块RNN 擅长的时序结构句子、音频、传感器序列。理解了它们各自的架构设计逻辑你才算真正跨过“会调库跑 demo”到“能设计模型解决实际任务”的分水岭。结构数据到底指什么两张不同的“结构”很多人刚开始容易把“结构数据”想窄了以为是数据库里那种表格型数据。这里说的结构数据指的是数据内部存在明显依赖关系和组织形式不能简单当成一组独立特征来对待。1.1 空间结构像素不是孤立存在的一张 224x224 的彩色图片展平之后是 15 万个像素值。你把这 15 万个值打乱顺序输入给一个普通的全连接网络它也能硬学——但效果很差。原因很简单图像里的信息藏在“局部组合”里。一只猫的眼睛、胡须、耳朵各自是小范围像素构成的模式这些模式再组合成五官、头部、身体。如果打乱像素顺序这种局部组合关系就彻底被破坏了。CNN 架构的核心出发点就是用“卷积核”去主动建模这种局部空间依赖。我见过不少新手在这里犯迷糊为什么不直接把像素都连起来因为参数爆炸。一张 224x224 的图全连接第一层假设 512 个神经元那光这一层的参数量就是 224x224x3x512 ≈ 7700 万训练起来慢还特别容易过拟合。卷积通过局部连接和权值共享两个手段硬生生把参数量降了几个数量级同时保留了图像的空间拓扑关系。1.2 时序结构顺序本身就是信息再看另一类数据一段影评“这部电影的剧情虽然老套但是特效非常震撼值得一看”。如果你把每个词变成 one-hot 或者词向量再全部拼接成一长串特征丢给全连接网络它学不到“但是”这种转折词对前后语气的影响。因为时序数据的核心在于“顺序”某些模式只有在特定的先后关系下才有意义前一个输入会改变后一个输入的解释方式。RNN 的架构设计就是为了处理这种时序依赖。它维护一个“隐藏状态”向量每读入一个时间步的输入就把旧隐藏状态和当前输入融合得到新的隐藏状态。这个状态就像一个滚动更新的“记忆”理论上能携带前面所有步骤的信息。我常用一个生活化类比RNN 就像你在读书时脑子里对剧情的跟踪每读一个字你脑中的理解就会更新一次而这个更新后的理解影响了你怎么解读下一个字。1.3 架构设计的本质先看数据的结构再定模型的结构这是我这几年做模型设计最深的体会。RNN 与 CNN 架构差异的根源不在代码层而在它们对“数据如何组织”的假设完全不同。CNN 假设邻近的数据点之间存在空间相关性所以用滑动窗口式的卷积核RNN 假设数据是按时间步依次到达的顺序流所以用循环更新状态的单元。搞清楚这一点你就能自然地理解很多选择1D 信号处理为什么可以用 Conv1d因为一维序列里的邻近点也有空间相关性。视频为什么常用 3D 卷积或者 CNNRNN 组合因为它既有空间结构又有时间结构。表格数据为什么用树模型或 MLP 往往效果就足够好因为它没有明显的空间/时序局部结构。设计或选择架构时第一步永远是问自己这份数据背后的结构到底是什么CNN 架构设计局部感知层层抽象CNN 从 1998 年 LeNet 一路走到今天经历了 VGG、GoogLeNet、ResNet再到近年的 EfficientNet、CSPNet核心设计思想其实没变过用局部感知提取基础模式用层级结构把基础模式组合成高级语义。2.1 三个关键设计局部连接、权值共享、层级抽象局部连接是指卷积核只在输入的局部区域滑动计算而不是全图连接。一个 3x3 的卷积核只看输入特征图上对应位置的 3x3 邻域这迫使每层网络先学“小模式”比如边缘、角点、色块。权值共享是指同一个卷积核在整个特征图上重复使用。一个 3x3x3宽、高、通道的卷积核在整张图上滑动时参数是同一组的。这意味着网络用同一套“特征检测器”去扫描全图不管猫头出现在图片左上角还是右下角都能被识别出来。这就是常说的平移不变性。层级抽象是网络堆叠赋予的能力。浅层卷积核学到直线边缘、颜色渐变中间层学到眼睛、轮子这类部件深层学到整张脸、整辆车。这种从细节到整体的抽象过程非常符合人类理解图像的方式。2.2 从原理代码看卷积参数用 PyTorch 写一个卷积层import torch.nn as nn # in_channels3 输入是 RGB 三通道 # out_channels32 这层提取 32 种不同模式 # kernel_size3 每个模式看 3x3 局部区域 # stride1 卷积核每次滑动 1 个像素 # padding1 周围补一圈 0保持输出尺寸不变 conv_layer nn.Conv2d(in_channels3, out_channels32, kernel_size3, stride1, padding1)输出特征图的尺寸公式很好记输出尺寸 (输入尺寸 - kernel_size 2 * padding) / stride 1我实际调试网络时到了哪里都会手算一遍这个公式。很多 bug 都出在尺寸对不上全连接层之前特征图 Flatten 后的维度算错整个模型直接报错。2.3 从感受野角度理解网络为什么需要深感知野Receptive Field感受野是设计 CNN 架构时最重要的指标之一指的是输出特征图上某个像素能看到输入图像的区域大小。对一个 3x3 卷积连续堆 N 层理论感受野就是2N1。10 层只能覆盖 21x21 的区域对于 224x224 的输入远远不够。所以现代 CNN 一定要做下采样池化或步长卷积逐步缩小特征图尺寸增大单像素的感知区域。常用套路是每经过 2 个卷积层特征图尺寸减半通道数翻倍。这个设计的直观解释是浅层在较精细的尺度上提取细节深层在较粗糙的尺度上提取语义。至于为什么实际任务里感受野往往比理论值更重要我后面在踩坑部分细说。2.4 经典演进从 ResNet 到 CSPNet看架构设计如何解决实际问题刚开始做 CNN 架构的人容易陷入一个误区网络越深越准。真实情况不是这样。ResNet 提出前深层网络的训练误差反而可能高于浅层网络这被称为退化问题。何恺明团队的思路很巧妙在结构里加一条“捷径”skip connection让梯度能直接流过深层。这条捷径的本质是让每一层去学习“残差”——也就是在已有特征基础上还需要做多少调整而不是从零开始学到完整映射。这个设计极大地稳定了深层网络的训练。我在自己项目里从 ResNet-50 换到 ResNet-101图像分类 Top-1 准确率确实涨了 1 到 2 个点而且收敛明显更顺利。近年出现的 CSPNetCross Stage Partial Network则是从另一个角度优化它把特征图沿通道维度分成两部分一部分经过正常的密集连接块另一部分直接跳连到末端再融合。这样做的好处是减少重复梯度计算降低计算量同时保持甚至提升了精度。我在实际做轻量化模型部署时这种架构特别有用——同样的精度目标FLOPs 能降下来一大截在 GPU 上推理速度快了约 20%。2.5 池化到底在干什么池化层在不少初学者眼里就是“压缩尺寸”但它不只是一个尺寸缩减器。最大值池化Max Pooling取每个窗口里的最大值相当于在小区域内保留最强烈的激活响应。这种操作带来轻微的空间平移不变性物体在小范围内移动几个像素最大值可能还在同一个窗口里。不过近年的趋势是逐步用步长卷积strided convolution替代池化。步长 2 的卷积同样能把特征图尺寸减半但参数是可学习的不像池化那样没有任何参数。严格来说这类改动在不同任务上各有胜负我的习惯是分类任务里两者差别不大精度优先选池化速度优先选步长卷积生成类和分割类任务里步长卷积更灵活。RNN 架构设计记忆的循环与更新如果说 CNN 是用“滑动的局部视野”来理解空间那 RNN 就是用“循环更新的状态”来理解时间。它特别适合处理变长的序列数据输入和输出都可以是任意长度。3.1 RNN 计算单元一个共享的更新函数RNN 的计算表达式非常简单h_t tanh(W_ih * x_t b_ih W_hh * h_{t-1} b_hh)所有时间步共享同一组参数 W_ih 和 W_hh这是 RNN 与 CNN 权值共享思想异曲同工之处。你可以把 h_t 理解为网络在 t 时刻的“工作记忆”它是由当前输入 x_t 和上一步的隐藏状态 h_{t-1} 共同决定的。展开来看RNN 其实是把同一个网络在时间轴上复制了很多份。PyTorch 里最简单直接地建一个多层 RNN 只需要两行rnn_layer nn.RNN(input_size128, hidden_size256, num_layers2, batch_firstTrue)如果你想看每个时间步的输出把return_sequences这类参数设成 True如果只想用最后一步的隐藏状态做分类默认拿h_n就行。这里有一个容易混淆的点output 是所有时间步的隐藏状态序列h_n 是最后一层的最终状态两者形状不同。3.2 BPTT 与梯度消失深度维度上的一次事故前面说 RNN 的参数在所有时间步共享意味训练时误差也要沿着时间步往回传。这种算法叫时间反向传播BPTT, Backpropagation Through Time。BPTT 最容易出的问题就是梯度消失或梯度爆炸。沿时间方向链式求导时梯度会被反复乘以循环权重 W_hh 的矩阵范数。如果这个值的最大奇异值小于 1梯度会指数衰减网络就学不到相隔较远时间步的依赖大于 1梯度会指数膨胀出现训练震荡甚至 NaN。我最初跑 RNN 做文本生成时训练到一半 loss 变成 nan排查了一圈发现是学习率太大加上序列太长BPTT 梯度爆炸了。梯度裁剪gradient clipping能有效缓解这个问题# 在反向传播后、优化器 step 之前执行 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)3.3 架构升级LSTM 和 GRU 如何对抗梯度消失真正让 RNN 大规模落地的是 LSTM长短期记忆。它的核心设计是引入了一条“细胞状态”通道 C_t像一个传送带贯穿所有时间步。门控机制决定什么时候写入信息、什么时候读取旧记忆、什么时候忘记不再需要的信息。遗忘门决定丢弃细胞状态中的哪些历史信息输入门决定将当前输入中的哪些信息写入细胞状态输出门决定最终输出隐藏状态的哪些部分关键点在于细胞状态的更新路径上有加法操作梯度可以无损流过绕开了反复矩阵乘法带来的梯度衰减问题。我经常把 LSTM 和 GRU 放一起对比LSTM 参数更多表达能力更强但更容易过拟合GRU 结构更简洁只有一个更新门和一个重置门参数量少在数据量不太大的任务上效果往往也不差训练更快更省显存。3.4 双向 RNN 与深层 RNN 的架构选择如果当前时间步的预测可以同时依赖过去和未来信息比如翻译、分词、情感分析里的整句话那双向 RNN 就很合适。它其实就是正向跑一个 RNN反向跑一个 RNN然后拼接两个方向的隐藏状态作为最终表示。在实践里双向 LSTM 对序列标注类任务提升非常明显。深层 RNN 就是堆叠多层循环层每一层的输入是前一层的隐藏状态序列。层数一般不会太多我实测大多数任务 2 到 3 层足够再深收益很小反而训练难度明显增加。和 CNN 不同的是RNN 很难通过单纯加深层数来提升效果因为它的“深度”本身已经包含时间维度太深导致优化困难。3.5 序列到序列架构编码器-解码器范式RNN 架构设计里最成功的一个范式是编码器-解码器Encoder-Decoder。编码器处理整个输入序列把它压缩成一个固定维度的“语义向量”解码器从这个语义向量出发逐时间步生成输出序列。机器翻译、文本摘要、语音识别都建立在这个框架上。这个架构设计的巧妙之处在于它解耦了输入和输出的长度约束输入 20 个词输出 100 个词的英文翻译完全没问题。不过纯编码器-解码器结构会遇到一个信息瓶颈当输入序列特别长时最后一步的隐藏状态很难承载所有的关键信息。这为后来注意力机制Attention的引入埋下了伏笔——我们后面详细说。架构的边界与融合你看清了局限才能用好长处很多人习惯问“哪个模型更好”这个问题抽象回答意义不大。CNN 与 RNN 各有所长也有明确的局限设计一个任务模型时最重要的是想清楚边界在哪里。4.1 CNN 的边界和适用场景CNN 适合处理 grid-like 数据尤其是图像、视频帧、语音频谱图。它在处理等长、局部相关的数据时非常出色训练并行度高因为卷积操作天然可以并行计算GPU 利用率特别高。缺点是很难直接处理变长序列和捕捉长距离依赖。但长距离依赖完全可以靠增加层数、膨胀卷积Dilated Convolution、自注意力机制来补足所以现代视觉架构里基本都融入了一些序列模型的思路。纯 CNN 在视觉任务中仍然是通用做法。4.2 RNN 的边界训练较慢并行困难RNN 每一步计算依赖上一步的隐藏状态这是天然的串行瓶颈。即便用再强的 GPU长序列训练也很难完全并行化。所以在大规模 NLP 任务中RNN 已经基本被基于自注意力的 Transformer 架构取代了因为 Transformer 可以同时处理整个序列训练效率高得多。但这不意味着 RNN 没用了。处理异常检测、心率信号、传感器数据、流式语音识别这类实时时序任务时RNN 因果结构的特点反而变成了优势它天然符合“只看过去”的设定延迟低算力需求小部署简单。很多嵌入式设备上跑实时语音关键词检测用的依然是精简后的 LSTM 或 GRU。4.3 融合结构处理真正复杂的结构数据有些数据不是单一结构这时把 CNN 和 RNN 融合起来做架构设计往往是性价比极高的方案。图像字幕生成任务就是很典型的案例用 CNN 编码图片的空间视觉特征用 RNN 解码器逐词生成描述文本。视频行为识别也经常采用双流架构空间流用 CNN 处理单帧图像时间流用 RNN 或 3D 卷积处理帧间动态。我自己做语音情感识别时就用过 CNNLSTM 的融合结构。先用两层 Conv1d 提取语音的局部频域特征再把 CNN 输出的特征序列输入 LSTM 建模时序上下文。效果比单独用其中任何一个好不少训练收敛也更稳定。这个模式在很多多模态任务中反复生效CNN 做局部特征提取RNN 做时序建模通常比一端硬扛要好。4.4 架构演进中的新变量注意力机制与 Transformer说 CNN 与 RNN 的发展就绕不开注意力机制的冲击。注意力机制解决的问题正好是 RNN 的长依赖瓶颈和 CNN 的局部视野限制它允许模型在计算某个位置的表示时直接查看输入序列中的任意位置按相似度加权汇总信息。Transformer 完全抛弃循环结构只用自注意力加前馈网络堆叠训练并行化程度极高大规模预训练语言模型基本都是这个路子。当前视觉领域也被 ViTVision Transformer引入了 Transformer 思想。但需要注意任何架构选择都跟数据和任务强相关。ViT 需要海量数据或预训练在中小规模数据上未必比 CNN 更好。我实际在几万张图的项目上对比过 ResNet 与 ViT 小模型ResNet 表现更稳。实操阶段配置参数、调试过程与踩坑记录说了一堆架构思想落地到代码里才是最见真章的地方。下面这些是极端实用、比较容易踩坑的经验按场景整理出来。5.1 张量形状CNN 部分容易犯的错PyTorch 中一张 batch 为 32、分辨率为 224x224 的 RGB 图像张量形状是(32, 3, 224, 224)。很多老年人比如我第一次手写 Dataset 时容易把尺寸传成 HWC高、宽、通道卷积层直接报错。记住PyTorch 里默认是 NCHWbatchchannelheightwidth。TensorFlow 早期默认 NHWC换框架时尤其要小心。推荐写一个辅助函数来打印每一层输出的形状快速验证网络定义是否正确def print_shape(model, input_tensor): x input_tensor for name, layer in model.named_children(): x layer(x) print(f{name}: {x.shape})5.2 Padding 与 Kernel Size全局池化代替 Flatten很多分类网络最后会把特征图 Flatten 后接全连接层。但特征图尺寸一旦因为输入尺寸变化而改变Flatten 后的维度也会变网络直接无法运行。一个保险的做法是用全局平均池化Global Average Pooling先把每个通道压缩成一个数再接全连接层。这样不管输入尺寸怎么变全连接层的输入维度都等于通道数模型对输入尺寸的鲁棒性会好很多。另外CNN 里通常优先使用奇数尺寸的卷积核3x3、5x5、7x7因为奇数核在 stride1 时可以用padding kernel_size // 2保证输出尺寸不变代码写起来非常整齐。5.3 RNN 部分序列长度可变怎么办处理自然语言或时序数据时样本长度往往不一致。深度学习框架要求矩阵操作训练时通常会把同一个 batch 内的序列 pad 到相同长度。如果直接让网络读取 padding 位padding 值会被当作真实数据参与计算容易污染特征表达。解决办法有两个层面。一是构造数据时给不足长度的部分补 0二是使用 pack_padded_sequence 这类 API告诉 RNN 每个样本的真实长度让它在 padding 位置跳过计算。另一个常用手段是在损失计算时用 mask 把 padding 位置排除掉。我最初做文本分类时直接忽略了这一点验证集上短期指标还行一到线上真实变长样本就露馅。5.4 训练稳定度学习率、初始化、梯度裁剪学习率RNN 训练对学习率极其敏感一般从 1e-3 往下调。长序列任务我经常用 1e-4 到 5e-4 这个区间。Adam 优化器基本是首选但在用 Transformer 类结构时学习率预热warm-up加线性衰减通常效果更好。初始化LSTM 忘掉门偏置初始化为 1 或 2 是个好习惯这样初始状态偏向“记住”信息训练初期更稳定长期依赖也更容易学到。梯度裁剪所有 RNN/LSTM 训练都建议加上梯度裁剪。我常用的阈值是 1.0 到 5.0 之间具体靠验证集调整。这几乎是在序列模型上唯一物美价廉的稳定训练手段。5.5 经典的防过拟合意识CNN 和 RNN 都是参数密集模型在中小规模数据集上很容易过拟合。常用措施包括 Dropout建议放在全连接层和 RNN 输出层之间LSTM 内部可用 Dropout 但要注意配合 recurrent dropout 参数、权重衰减Weight Decay、数据增强针对图像建议随机裁剪、翻转、颜色抖动针对序列可以加噪声、时间扭曲、早停Early Stopping。我的经验是不要一上来把所有正则手段都堆上否则很难定位问题。先让模型过拟合一个小 batch确认学习能力正常再逐步增加正则强度把验证集和训练集的差距拉回来。一个综合实例用 CNNRNN 做视频片段分类理论讲了那么多这里用一个我自己做过的完整例子把架构选择串起来。任务描述输入一个 16 帧的短视频片段判断视频属于“跑步、挥手、跳跃、站立”中的哪一类。数据分析每一帧是一张 224x224 的 RGB 图整体数据同时包含空间结构和时间结构。这就是典型的 CNNRNN 融合场景。架构设计class VideoClassifier(nn.Module): def __init__(self, num_classes4): super().__init__() # 先用预训练 CNN 提取单帧特征可冻结其参数 self.cnn models.resnet18(pretrainedTrue) self.cnn.fc nn.Identity() # 去掉分类头输出特征向量 # 再用 LSTM 建模帧间的时序关系 self.lstm nn.LSTM(input_size512, hidden_size256, num_layers2, batch_firstTrue) # 最后用分类头输出预测 self.classifier nn.Sequential( nn.Dropout(0.3), nn.Linear(256, num_classes) ) def forward(self, x): # x: (batch, frames16, channels3, height224, width224) batch, frames, c, h, w x.shape # 把 CNN 应用到每一帧上 x x.view(batch * frames, c, h, w) features self.cnn(x) # (batch*frames, 512) features features.view(batch, frames, -1) # LSTM 建模时间维度 out, _ self.lstm(features) # (batch, frames, 256) # 用最后一帧的输出做分类 out out[:, -1, :] return self.classifier(out)几点细节预训练 CNN 是不是要冻结如果数据量少建议冻结前几层或者整个冻结只用 LSTM 和分类头去训练防止过拟合数据量大再解冻微调。帧数 16 这个值是有讲究的。帧数太少捕捉不到动作的完整过程帧数太多会导致计算量急剧膨胀。16 帧是性价比不错的经验值。采样策略是均匀抽帧而不是连续取帧不然相邻帧高度相似时间信息冗余训练效率低。训练时最好监控每个时间步输出的变化。我遇到过 LSTM 输出始终不变的情况检查后发现是全连接层初始化不正确导致梯度到不了 LSTM。换成 Xavier 初始化之后立刻解决了。这个视频分类例子的价值在于它不是炫技而是典型的“按数据结构匹配架构”的思考过程。空间结构交给 CNN时间结构交给 LSTM各自的参数规模也容易控制调试时能分模块检查。最后分享一个实际操作中的体会做模型架构设计最高频的日常工作不是设计新模型而是根据数据形态合理组合已有模块。遇见新任务先问三个问题数据里有什么结构哪些结构适合用 CNN 建模哪些适合用 RNN 或者注意力机制想清楚这三步你需要做的只是把对应模块拼接起来再专注调好训练细节。CNN与RNN作为深度学习家族的两根支柱掌握它们的架构设计思路往后看再复杂的模型都是从这个基础上长出来的。