1. 从“炼丹”到“选丹”为什么你需要一份SOTA模型清单在计算机视觉这个领域待久了尤其是带过新人或者自己上手新项目时最常听到的抱怨是什么不是算力不够也不是数据难找而是“模型太多了我该用哪个”。这感觉就像走进一个巨大的中药铺墙上密密麻麻全是抽屉每个抽屉里都装着号称能“包治百病”的灵丹妙药。你明知道里面肯定有能解决你问题的方子但面对成百上千个名字从AlexNet、VGG到ResNet、DenseNet再到Swin Transformer、ConvNeXt还有YOLO系列、DETR系列、Mask R-CNN……新手直接懵圈老手也得花时间回忆和对比。更头疼的是这些模型还在以惊人的速度迭代今天刚熟悉一个明天可能就有个“某某改进版”在arXiv上挂着预印本。这就是为什么一份精心整理的、覆盖主流任务的SOTA模型清单其价值远超一份简单的列表。它不是一个冰冷的目录而是一张帮你快速定位、理解并做出技术选型的“寻宝图”。对于学生它能帮你快速了解领域脉络找到复现和学习的标杆对于工程师它能让你在项目启动时跳过漫无目的的文献调研直接聚焦于几个最有可能的候选模型节省大量前期时间。我花了相当长的时间结合最新的论文、主流开源框架如PyTorch的TorchVision、MMDetection、Detectron2、Hugging Face Transformers的官方支持情况以及工业界的实际落地反馈梳理出了这份涵盖197个经典与前沿SOTA模型的清单。它主要覆盖图像分类、目标检测、图像分割语义/实例、关键点检测、图像生成等核心方向。这份清单的价值不在于“全”而在于“精”和“准”——每个入选的模型都是在特定时期、特定任务上定义了“State-of-the-Art”最先进水平的里程碑式工作并且大多有高质量的开源实现和预训练权重。接下来我不会仅仅是把这197个名字罗列出来那没有意义。我将以任务为维度带你深入每个方向的技术演进脉络剖析关键模型的“为什么”和“怎么选”并分享在实际项目中应用这些模型时那些论文里不会写的实操心得和避坑指南。2. 图像分类从“特征工程”到“架构搜索”的进化史图像分类是计算机视觉的基石任务也是模型创新的主战场。这份清单中图像分类模型占了相当大的比重。理解它们的演进几乎就理解了近十年深度学习在视觉领域的发展逻辑。2.1 卷积神经网络CNN的黄金时代深度、宽度与捷径早期的突破源于AlexNet2012它用ReLU、Dropout和GPU训练证明了深度卷积网络的有效性。但随后大家发现单纯堆叠层数如VGGNet会导致梯度消失/爆炸网络变得难以训练。ResNet残差网络的出现是革命性的。它的核心思想“恒等快捷连接”Identity Shortcut解决了深度网络的退化问题。为什么这个简单的“跳连”如此有效从理论上讲它让网络可以学习残差函数F(x) H(x) - x而不是直接学习复杂的底层映射H(x)。这使得优化器更容易将层推向恒等映射从而稳定了深度网络的训练。在实际操作中ResNet的各个变体ResNet-18, 34, 50, 101, 152至今仍是特征提取的默认骨干网络Backbone之一。一个重要的实操细节是PyTorch官方torchvision.models中的ResNet默认使用“BasicBlock”用于较浅的18/34层和“BottleneckBlock”用于更深的50/101/152层。Bottleneck结构用1x1卷积先降维再升维在保证感受野的同时大幅减少了参数量和计算量。注意使用预训练的ResNet时务必注意其输入图像归一化参数。torchvision的ResNet预训练权重通常使用ImageNet的统计量均值[0.485, 0.456, 0.406]标准差[0.229, 0.224, 0.225]。如果你的数据分布差异巨大直接使用可能导致性能下降建议进行适当的域适应或重新归一化。紧随其后的是DenseNet它提出了更极端的连接方式每一层都接收前面所有层的特征图作为输入。这种设计鼓励了特征重用大幅减少了参数量并缓解了梯度消失。但在实际部署中密集连接会带来巨大的内存消耗因为需要拼接Concatenate大量特征图。在移动端或边缘设备上需要谨慎使用或进行模型压缩。EfficientNet系列则代表了另一种设计哲学复合缩放Compound Scaling。它的作者系统地研究了网络宽度通道数、深度层数和分辨率输入图像大小之间的平衡关系并通过神经架构搜索NAS找到了最优的缩放系数。EfficientNet-B0到B7提供了从轻量到高精度的一系列模型。在实际项目中如果你的资源算力、内存受限EfficientNet通常是比盲目缩放ResNet更优的选择。例如EfficientNet-B3通常在精度和速度上能取得比ResNet-50更好的平衡。2.2 Vision Transformer的横空出世与混合架构的崛起2020年Vision TransformerViT将自然语言处理中大获成功的Transformer架构引入图像领域它将图像分割为固定大小的图块Patch然后将其线性嵌入为一序列“词向量”送入标准的Transformer编码器。ViT的核心优势在于其强大的全局建模能力和可扩展性——模型越大数据越多性能往往越好。但它有两个显著缺点1) 需要海量数据如JFT-300M进行预训练才能发挥优势2) 计算复杂度与图像序列长度的平方成正比对高分辨率图像不友好。为了克服这些缺点一系列改进工作涌现并占据了清单中的重要位置Swin Transformer引入了“滑动窗口”和“层级化设计”让计算限制在局部窗口内同时通过移动窗口实现跨窗口连接并像CNN一样构建特征金字塔。这使得Swin Transformer既能拥有Transformer的全局建模能力又具备了CNN的线性计算复杂度和多尺度特征迅速成为下游任务如检测、分割的热门骨干网络。ConvNeXt这篇文章反思了“Transformer一定比CNN先进吗”的问题。作者通过“现代化”一个标准的ResNet逐步引入ViT/Swin Transformer中的设计理念如更大的卷积核、更少的激活函数、更少的归一化层、分离的下采样层等最终得到的纯CNN架构ConvNeXt在多个基准上媲美甚至超越了Swin Transformer。它的意义在于揭示了架构设计中的许多最佳实践是共通的并且纯CNN模型经过精心设计后依然极具竞争力。如何选择这里有一个简单的决策流资源极度受限移动端优先考虑经过优化的轻量级CNN如MobileNetV3、ShuffleNetV2或EfficientNet-Lite。通用服务器端追求精度与速度平衡ResNet-50/101、EfficientNet-B4/B5、ConvNeXt-T/S 是经过充分验证的可靠选择。拥有大量数据追求极致精度大规模预训练的ViT-Huge、Swin Transformer-Large、ConvNeXt-XL 是SOTA的有力竞争者。作为下游任务检测、分割的骨干网络Swin Transformer、ConvNeXt 和 ResNet 系列是目前最主流和受框架支持最好的选择需要根据任务特性是否需要多尺度特征、对计算量的敏感度进行选择。2.3 图像分类实战中的“暗坑”与调优技巧论文里报告的Top-1 Accuracy很美好但当你把预训练模型用到自己的数据集上时常常会发现效果大打折扣。除了数据本身的问题以下是一些常被忽略的调优点1. 学习率策略与优化器选择迁移学习时骨干网络和分类头应使用不同的学习率。骨干网络通常使用较小的学习率如基础学习率的0.1倍进行微调以防止破坏预训练好的特征而新添加的分类头可以使用较大的学习率快速学习。AdamW正在取代Adam成为默认选择。AdamW将权重衰减Weight Decay从梯度更新中解耦出来实现了真正的L2正则化通常能带来更稳定的训练和更好的泛化性能。在PyTorch中使用torch.optim.AdamW并设置weight_decay参数常用1e-4或5e-2取决于任务。2. 数据增强的“过犹不及”AutoAugment、RandAugment等自动增强策略在大型数据集上效果显著但在小型数据集上可能因过度增强而引入噪声导致模型难以学习。对于小数据集建议从基础的随机裁剪、水平翻转开始谨慎添加颜色抖动、CutMix、MixUp等增强。一个关键技巧验证集不应使用训练时的随机增强。验证和测试时通常只进行中心裁剪或缩放到固定尺寸然后归一化以保证评估的一致性。3. 标签平滑Label Smoothing这是分类任务中一个简单却极其有效的正则化技术。它将硬标签如one-hot的[0, 0, 1, 0]替换为软标签如[0.01, 0.01, 0.97, 0.01]。这防止了模型对训练标签过于自信减轻过拟合通常能提升模型在未知数据上的泛化能力。在PyTorch的CrossEntropyLoss中可以通过label_smoothing参数直接启用。3. 目标检测从“两阶段”到“端到端”的范式迁移目标检测的任务是定位找出来在哪并识别是什么图像中的所有感兴趣物体。这份清单中的检测模型清晰地反映了该领域从两阶段Two-Stage到一阶段One-Stage再到基于Transformer的端到端End-to-End范式的演变。3.1 两阶段检测器的精度标杆R-CNN家族两阶段检测器的核心思想是“先候选后分类”。以Faster R-CNN为例其流程是区域提议网络RPN在第一阶段RPN扫描图像生成一系列可能包含物体的候选区域Region Proposals这些区域不是穷举的滑动窗口而是通过锚框Anchor Boxes和网络预测偏移量得到的质量更高。区域兴趣池化RoI Pooling / RoI Align将每个候选区域映射到骨干网络输出的特征图上并池化成固定大小的特征块。分类与回归头第二阶段对这些固定大小的特征块进行分类是什么物体和边界框回归微调位置。Faster R-CNN的精度高但速度相对慢。Mask R-CNN在其基础上增加了一个并行的掩码预测分支用于实例分割成为了实例分割任务的奠基性工作。实操中的关键点锚框Anchor设计。锚框是一组预定义的大小和宽高比如[0.5, 1, 2]三种比例[32, 64, 128, 256, 512]五种尺度作为物体大小的先验。如果你的数据集中物体尺度分布特殊如都是小目标或超大目标默认的锚框设置会严重影响RPN的性能。你需要根据数据集的统计信息使用k-means聚类分析标注框的宽高来重新设计锚框的尺度和比例。3.2 一阶段检测器的速度革命YOLO与SSD一阶段检测器摒弃了独立的区域提议阶段直接在网络输出层对密集的锚点进行类别和位置预测实现了速度的飞跃。YOLO系列是其中的典型代表其思想是“将检测视为回归问题”。YOLOv1将图像划分为SxS的网格每个网格预测B个边界框和置信度。发展至今YOLOv5/v8等版本已经非常成熟它们集成了大量现代CNN的最佳实践如CSPNet结构、SPPF模块、自适应锚框计算、Mosaic数据增强等在速度和精度上取得了极佳的平衡成为工业界部署的热门选择。SSD则是在多个不同尺度的特征图上进行预测以更好地处理不同大小的物体。它在速度和精度之间也取得了很好的平衡。一阶段检测器的部署优势与调优难点优势结构简单推理速度快易于部署到移动端和边缘设备。难点正负样本极度不平衡。一张图中可能只有几个物体但会产生成千上万个锚点预测其中绝大部分是背景负样本。这会导致训练被简单的负样本主导。解决方案包括Focal LossRetinaNet提出的损失函数通过降低易分类样本的权重让模型更关注难分类的样本。在线难例挖掘OHEM只选取损失最大的那些负样本来参与训练。3.3 DETR与端到端检测的新范式DETR是检测领域的一个范式突破。它使用标准的Transformer编码器-解码器架构将一组可学习的物体查询Object Queries作为输入直接输出一组无序的预测结果类别边界框。它完全消除了对锚框、非极大值抑制NMS等手工设计组件的依赖实现了真正的端到端检测。DETR的亮点与痛点亮点架构简洁优雅避免了NMS带来的后处理复杂度对大物体和遮挡场景的检测效果通常更好。痛点训练收敛慢需要更长的训练周期如500 epoch。小目标检测性能弱Transformer全局注意力机制对高分辨率特征图的计算开销大DETR通常使用较低分辨率的特征图导致小目标信息丢失。查询数固定预设的物体查询数量通常为100限制了其一次性检测大量物体的能力。后续的改进工作如Deformable DETR引入了可变形注意力模块让每个查询只关注特征图上的一小部分关键采样点而不是全局大幅加快了收敛速度并提升了对小目标的检测性能。这些模型都在清单中占据重要位置。如何选择检测模型场景需求推荐模型类型具体模型举例理由工业实时检测如视频流一阶段检测器YOLOv8, YOLO-NAS, PP-YOLOE推理速度极快精度满足大部分工业场景部署生态成熟。学术研究或高精度需求如自动驾驶两阶段或改进型端到端Faster R-CNN, Cascade R-CNN, Deformable DETR精度更高模型更鲁棒适合对误检漏检要求严苛的场景。需要实例分割两阶段扩展模型Mask R-CNN, Cascade Mask R-CNN天然扩展自检测框架掩码预测精度高。追求最新架构数据充足端到端TransformerDETR, Deformable DETR, DINO代表前沿方向避免手工组件长期来看架构更优。4. 超越分类与检测分割、生成与关键点模型精选清单中的模型远不止分类和检测它们共同构成了解决复杂视觉问题的工具箱。4.1 图像分割理解像素级语义图像分割分为语义分割为每个像素分类和实例分割区分不同个体。语义分割的里程碑FCN首次用全卷积网络实现端到端分割。U-Net凭借其经典的编码器-解码器结构和跳跃连接在生物医学图像分割中成为事实标准。DeepLab系列v3, v3通过空洞卷积Atrous Conv和空间金字塔池化ASPP来捕获多尺度上下文信息是通用场景语义分割的强基准。实例分割的佼佼者如前所述Mask R-CNN是开创者。YOLACT和SOLO系列则尝试用一阶段的方式做实例分割速度更快。分割任务的核心挑战与技巧 挑战在于如何平衡局部细节边缘清晰度和全局上下文物体类别一致性。U-Net的跳跃连接解决了局部细节恢复的问题。DeepLab的ASPP和空洞卷积则在保持特征图分辨率的同时扩大了感受野来获取上下文。 一个实用的技巧是在训练分割模型时使用预训练的检测或分类模型作为编码器骨干网络可以大幅加速收敛并提升性能。例如使用在ImageNet上预训练的ResNet-101作为DeepLabv3的骨干。4.2 图像生成从GAN到扩散模型图像生成领域经历了从生成对抗网络到扩散模型的范式转移。GAN时代StyleGAN系列是生成高质量、可控人脸图像的巅峰之作。其通过风格向量在不同分辨率上控制生成特征实现了对姿态、发型、光照等属性的解耦编辑。但GAN存在训练不稳定、模式崩溃等问题。扩散模型时代Stable Diffusion是当前的开源王者。它通过在潜在空间Latent Space进行扩散极大降低了计算成本。其“文本编码器-扩散模型-图像解码器”的架构使得通过自然语言提示Prompt控制图像生成成为可能。DALL-E 2和Imagen则是闭源模型中的杰出代表。使用生成模型的注意事项计算资源训练扩散模型需要大量的GPU内存和时间。对于大多数开发者微调Fine-tuning或使用LoRA等参数高效微调技术是更可行的方案。提示工程对于Stable Diffusion生成质量极大程度依赖于提示词。学习编写详细、结构化的提示词包括主体、细节、风格、画质、负面提示是一项必备技能。伦理与版权生成模型可能产生侵犯版权、包含偏见或有害内容的结果。在实际应用中必须建立内容审核机制。4.3 关键点检测从人体姿态到任意物体关键点检测用于定位物体的特征点如人体的关节、人脸的五官、汽车的角点。自顶向下方法先检测物体实例如人然后在每个实例的边界框内检测关键点。代表工作是HRNet它始终保持高分辨率特征表示通过并行多分辨率子网并反复进行信息交换预测的关键点更精准尤其在姿态估计中表现出色。自底向上方法先检测图像中所有关键点然后通过分组算法将它们关联到不同的实例。如OpenPose它能实现实时多人姿态估计。关键点检测的评估与调优 常用评估指标是对象关键点相似度OKS基础上的平均精度AP。调优时除了模型本身数据增强至关重要。针对姿态估计合理的随机旋转、缩放、裁剪要保证人体在框内以及关键点遮挡模拟随机丢弃部分关键点标签能显著提升模型的鲁棒性。对于人脸关键点则需要注意左右对称性的增强。5. 模型清单的使用心法与实战部署指南拥有这份清单只是第一步如何让它为你所用才是关键。下面分享一些从项目实践中总结的心得。5.1 如何高效“食用”这份模型清单按图索骥明确需求首先确定你的核心任务分类、检测、分割等然后根据清单定位到该任务下的模型家族。不要试图通读所有197个模型的论文那是徒劳的。精读里程碑泛读改进型对于每个方向精读1-2篇开创性或定义性的论文如ResNet, Faster R-CNN, Transformer, StyleGAN。对于后续的改进型工作重点阅读其摘要、引言和核心方法图理解它解决了前作的什么问题用了什么核心技巧。代码与论文对照找到该模型官方或高星的开源实现如GitHub上的MMDetection, Detectron2, 官方PyTorch实现。边读论文边看代码是理解模型细节最有效的方式。重点关注数据流如何转换、核心模块如何实现。利用模型库快速实验使用像PyTorch Image Models (timm)、MMCV、Hugging Facetransformers这样的高级库它们提供了统一的接口加载预训练模型让你能在几分钟内跑起一个基准测试快速验证模型在你的数据上的潜力。5.2 从Paper到Production模型部署的务实考量在学术论文里跑分很高的模型到了生产环境可能寸步难行。部署时需要考虑以下几个维度延迟与吞吐量模型推理需要多快是处理单张图片关注延迟还是处理视频流关注吞吐量使用TensorRT、OpenVINO、ONNX Runtime等推理优化框架可以对模型进行图优化、层融合、量化INT8在不损失太多精度的情况下大幅提升推理速度。一个经验法则在GPU上卷积操作高度优化CNN模型通常比同等精度的ViT模型更快但在经过特定优化的AI芯片上情况可能不同。内存与功耗模型参数有多大运行时占用多少显存/内存这对于移动端和嵌入式设备至关重要。可以考虑使用模型剪枝、知识蒸馏等技术来压缩模型。框架与生态模型是否容易集成到现有的服务框架中是否支持所需的硬件torchscript、ONNX是通用的模型交换格式但某些自定义算子可能需要额外实现。部署流程建议原型验证在PyTorch/TensorFlow中训练并验证模型精度。格式转换将模型导出为ONNX格式。注意检查算子支持情况可能需要对模型中的某些操作如动态切片、自定义激活函数进行重写以兼容ONNX。推理优化使用TensorRT等工具加载ONNX模型进行FP16或INT8量化生成优化后的引擎。服务化使用Triton Inference Server、TensorFlow Serving或简单的Flask/FastAPI封装优化后的引擎提供API服务。5.3 持续学习如何跟踪SOTA的进化这份197个模型的清单是静态的但SOTA是动态的。保持前沿嗅觉的方法关注顶级会议CVPR, ICCV, ECCV, NeurIPS, ICML 是计算机视觉和机器学习最新成果的集中发布地。关注它们的官方论文集网站。善用聚合平台Papers With Code 网站将论文、代码、排行榜Leaderboard结合在一起是追踪各任务SOTA最直观的工具。订阅arXiv关注cs.CV类别每天都有大量新论文预印本发布。可以使用arxiv-sanity等工具进行筛选。参与社区GitHub, Reddit (r/MachineLearning), 知乎、专业博客等社区经常有研究者对重要论文进行解读和讨论。最后我想说的是模型是工具而不是目的。这份清单的价值在于当你面对一个具体的视觉问题时它能帮你迅速缩小搜索范围找到那把最合适的“锤子”。但真正解决问题的永远是你对问题本身的理解、对数据的处理能力以及将模型与业务逻辑结合起来的工程实践。不要陷入“追逐最新SOTA”的焦虑中最适合的往往不是最前沿的而是最稳定、最可控、最能满足你项目约束的那一个。在实际项目中一个经过充分调优的ResNet-50其价值可能远大于一个你无法驾驭的、最新的大型视觉Transformer。 计算机视觉SOTA模型选型指南：从ResNet到Transformer的实战决策
1. 从“炼丹”到“选丹”为什么你需要一份SOTA模型清单在计算机视觉这个领域待久了尤其是带过新人或者自己上手新项目时最常听到的抱怨是什么不是算力不够也不是数据难找而是“模型太多了我该用哪个”。这感觉就像走进一个巨大的中药铺墙上密密麻麻全是抽屉每个抽屉里都装着号称能“包治百病”的灵丹妙药。你明知道里面肯定有能解决你问题的方子但面对成百上千个名字从AlexNet、VGG到ResNet、DenseNet再到Swin Transformer、ConvNeXt还有YOLO系列、DETR系列、Mask R-CNN……新手直接懵圈老手也得花时间回忆和对比。更头疼的是这些模型还在以惊人的速度迭代今天刚熟悉一个明天可能就有个“某某改进版”在arXiv上挂着预印本。这就是为什么一份精心整理的、覆盖主流任务的SOTA模型清单其价值远超一份简单的列表。它不是一个冰冷的目录而是一张帮你快速定位、理解并做出技术选型的“寻宝图”。对于学生它能帮你快速了解领域脉络找到复现和学习的标杆对于工程师它能让你在项目启动时跳过漫无目的的文献调研直接聚焦于几个最有可能的候选模型节省大量前期时间。我花了相当长的时间结合最新的论文、主流开源框架如PyTorch的TorchVision、MMDetection、Detectron2、Hugging Face Transformers的官方支持情况以及工业界的实际落地反馈梳理出了这份涵盖197个经典与前沿SOTA模型的清单。它主要覆盖图像分类、目标检测、图像分割语义/实例、关键点检测、图像生成等核心方向。这份清单的价值不在于“全”而在于“精”和“准”——每个入选的模型都是在特定时期、特定任务上定义了“State-of-the-Art”最先进水平的里程碑式工作并且大多有高质量的开源实现和预训练权重。接下来我不会仅仅是把这197个名字罗列出来那没有意义。我将以任务为维度带你深入每个方向的技术演进脉络剖析关键模型的“为什么”和“怎么选”并分享在实际项目中应用这些模型时那些论文里不会写的实操心得和避坑指南。2. 图像分类从“特征工程”到“架构搜索”的进化史图像分类是计算机视觉的基石任务也是模型创新的主战场。这份清单中图像分类模型占了相当大的比重。理解它们的演进几乎就理解了近十年深度学习在视觉领域的发展逻辑。2.1 卷积神经网络CNN的黄金时代深度、宽度与捷径早期的突破源于AlexNet2012它用ReLU、Dropout和GPU训练证明了深度卷积网络的有效性。但随后大家发现单纯堆叠层数如VGGNet会导致梯度消失/爆炸网络变得难以训练。ResNet残差网络的出现是革命性的。它的核心思想“恒等快捷连接”Identity Shortcut解决了深度网络的退化问题。为什么这个简单的“跳连”如此有效从理论上讲它让网络可以学习残差函数F(x) H(x) - x而不是直接学习复杂的底层映射H(x)。这使得优化器更容易将层推向恒等映射从而稳定了深度网络的训练。在实际操作中ResNet的各个变体ResNet-18, 34, 50, 101, 152至今仍是特征提取的默认骨干网络Backbone之一。一个重要的实操细节是PyTorch官方torchvision.models中的ResNet默认使用“BasicBlock”用于较浅的18/34层和“BottleneckBlock”用于更深的50/101/152层。Bottleneck结构用1x1卷积先降维再升维在保证感受野的同时大幅减少了参数量和计算量。注意使用预训练的ResNet时务必注意其输入图像归一化参数。torchvision的ResNet预训练权重通常使用ImageNet的统计量均值[0.485, 0.456, 0.406]标准差[0.229, 0.224, 0.225]。如果你的数据分布差异巨大直接使用可能导致性能下降建议进行适当的域适应或重新归一化。紧随其后的是DenseNet它提出了更极端的连接方式每一层都接收前面所有层的特征图作为输入。这种设计鼓励了特征重用大幅减少了参数量并缓解了梯度消失。但在实际部署中密集连接会带来巨大的内存消耗因为需要拼接Concatenate大量特征图。在移动端或边缘设备上需要谨慎使用或进行模型压缩。EfficientNet系列则代表了另一种设计哲学复合缩放Compound Scaling。它的作者系统地研究了网络宽度通道数、深度层数和分辨率输入图像大小之间的平衡关系并通过神经架构搜索NAS找到了最优的缩放系数。EfficientNet-B0到B7提供了从轻量到高精度的一系列模型。在实际项目中如果你的资源算力、内存受限EfficientNet通常是比盲目缩放ResNet更优的选择。例如EfficientNet-B3通常在精度和速度上能取得比ResNet-50更好的平衡。2.2 Vision Transformer的横空出世与混合架构的崛起2020年Vision TransformerViT将自然语言处理中大获成功的Transformer架构引入图像领域它将图像分割为固定大小的图块Patch然后将其线性嵌入为一序列“词向量”送入标准的Transformer编码器。ViT的核心优势在于其强大的全局建模能力和可扩展性——模型越大数据越多性能往往越好。但它有两个显著缺点1) 需要海量数据如JFT-300M进行预训练才能发挥优势2) 计算复杂度与图像序列长度的平方成正比对高分辨率图像不友好。为了克服这些缺点一系列改进工作涌现并占据了清单中的重要位置Swin Transformer引入了“滑动窗口”和“层级化设计”让计算限制在局部窗口内同时通过移动窗口实现跨窗口连接并像CNN一样构建特征金字塔。这使得Swin Transformer既能拥有Transformer的全局建模能力又具备了CNN的线性计算复杂度和多尺度特征迅速成为下游任务如检测、分割的热门骨干网络。ConvNeXt这篇文章反思了“Transformer一定比CNN先进吗”的问题。作者通过“现代化”一个标准的ResNet逐步引入ViT/Swin Transformer中的设计理念如更大的卷积核、更少的激活函数、更少的归一化层、分离的下采样层等最终得到的纯CNN架构ConvNeXt在多个基准上媲美甚至超越了Swin Transformer。它的意义在于揭示了架构设计中的许多最佳实践是共通的并且纯CNN模型经过精心设计后依然极具竞争力。如何选择这里有一个简单的决策流资源极度受限移动端优先考虑经过优化的轻量级CNN如MobileNetV3、ShuffleNetV2或EfficientNet-Lite。通用服务器端追求精度与速度平衡ResNet-50/101、EfficientNet-B4/B5、ConvNeXt-T/S 是经过充分验证的可靠选择。拥有大量数据追求极致精度大规模预训练的ViT-Huge、Swin Transformer-Large、ConvNeXt-XL 是SOTA的有力竞争者。作为下游任务检测、分割的骨干网络Swin Transformer、ConvNeXt 和 ResNet 系列是目前最主流和受框架支持最好的选择需要根据任务特性是否需要多尺度特征、对计算量的敏感度进行选择。2.3 图像分类实战中的“暗坑”与调优技巧论文里报告的Top-1 Accuracy很美好但当你把预训练模型用到自己的数据集上时常常会发现效果大打折扣。除了数据本身的问题以下是一些常被忽略的调优点1. 学习率策略与优化器选择迁移学习时骨干网络和分类头应使用不同的学习率。骨干网络通常使用较小的学习率如基础学习率的0.1倍进行微调以防止破坏预训练好的特征而新添加的分类头可以使用较大的学习率快速学习。AdamW正在取代Adam成为默认选择。AdamW将权重衰减Weight Decay从梯度更新中解耦出来实现了真正的L2正则化通常能带来更稳定的训练和更好的泛化性能。在PyTorch中使用torch.optim.AdamW并设置weight_decay参数常用1e-4或5e-2取决于任务。2. 数据增强的“过犹不及”AutoAugment、RandAugment等自动增强策略在大型数据集上效果显著但在小型数据集上可能因过度增强而引入噪声导致模型难以学习。对于小数据集建议从基础的随机裁剪、水平翻转开始谨慎添加颜色抖动、CutMix、MixUp等增强。一个关键技巧验证集不应使用训练时的随机增强。验证和测试时通常只进行中心裁剪或缩放到固定尺寸然后归一化以保证评估的一致性。3. 标签平滑Label Smoothing这是分类任务中一个简单却极其有效的正则化技术。它将硬标签如one-hot的[0, 0, 1, 0]替换为软标签如[0.01, 0.01, 0.97, 0.01]。这防止了模型对训练标签过于自信减轻过拟合通常能提升模型在未知数据上的泛化能力。在PyTorch的CrossEntropyLoss中可以通过label_smoothing参数直接启用。3. 目标检测从“两阶段”到“端到端”的范式迁移目标检测的任务是定位找出来在哪并识别是什么图像中的所有感兴趣物体。这份清单中的检测模型清晰地反映了该领域从两阶段Two-Stage到一阶段One-Stage再到基于Transformer的端到端End-to-End范式的演变。3.1 两阶段检测器的精度标杆R-CNN家族两阶段检测器的核心思想是“先候选后分类”。以Faster R-CNN为例其流程是区域提议网络RPN在第一阶段RPN扫描图像生成一系列可能包含物体的候选区域Region Proposals这些区域不是穷举的滑动窗口而是通过锚框Anchor Boxes和网络预测偏移量得到的质量更高。区域兴趣池化RoI Pooling / RoI Align将每个候选区域映射到骨干网络输出的特征图上并池化成固定大小的特征块。分类与回归头第二阶段对这些固定大小的特征块进行分类是什么物体和边界框回归微调位置。Faster R-CNN的精度高但速度相对慢。Mask R-CNN在其基础上增加了一个并行的掩码预测分支用于实例分割成为了实例分割任务的奠基性工作。实操中的关键点锚框Anchor设计。锚框是一组预定义的大小和宽高比如[0.5, 1, 2]三种比例[32, 64, 128, 256, 512]五种尺度作为物体大小的先验。如果你的数据集中物体尺度分布特殊如都是小目标或超大目标默认的锚框设置会严重影响RPN的性能。你需要根据数据集的统计信息使用k-means聚类分析标注框的宽高来重新设计锚框的尺度和比例。3.2 一阶段检测器的速度革命YOLO与SSD一阶段检测器摒弃了独立的区域提议阶段直接在网络输出层对密集的锚点进行类别和位置预测实现了速度的飞跃。YOLO系列是其中的典型代表其思想是“将检测视为回归问题”。YOLOv1将图像划分为SxS的网格每个网格预测B个边界框和置信度。发展至今YOLOv5/v8等版本已经非常成熟它们集成了大量现代CNN的最佳实践如CSPNet结构、SPPF模块、自适应锚框计算、Mosaic数据增强等在速度和精度上取得了极佳的平衡成为工业界部署的热门选择。SSD则是在多个不同尺度的特征图上进行预测以更好地处理不同大小的物体。它在速度和精度之间也取得了很好的平衡。一阶段检测器的部署优势与调优难点优势结构简单推理速度快易于部署到移动端和边缘设备。难点正负样本极度不平衡。一张图中可能只有几个物体但会产生成千上万个锚点预测其中绝大部分是背景负样本。这会导致训练被简单的负样本主导。解决方案包括Focal LossRetinaNet提出的损失函数通过降低易分类样本的权重让模型更关注难分类的样本。在线难例挖掘OHEM只选取损失最大的那些负样本来参与训练。3.3 DETR与端到端检测的新范式DETR是检测领域的一个范式突破。它使用标准的Transformer编码器-解码器架构将一组可学习的物体查询Object Queries作为输入直接输出一组无序的预测结果类别边界框。它完全消除了对锚框、非极大值抑制NMS等手工设计组件的依赖实现了真正的端到端检测。DETR的亮点与痛点亮点架构简洁优雅避免了NMS带来的后处理复杂度对大物体和遮挡场景的检测效果通常更好。痛点训练收敛慢需要更长的训练周期如500 epoch。小目标检测性能弱Transformer全局注意力机制对高分辨率特征图的计算开销大DETR通常使用较低分辨率的特征图导致小目标信息丢失。查询数固定预设的物体查询数量通常为100限制了其一次性检测大量物体的能力。后续的改进工作如Deformable DETR引入了可变形注意力模块让每个查询只关注特征图上的一小部分关键采样点而不是全局大幅加快了收敛速度并提升了对小目标的检测性能。这些模型都在清单中占据重要位置。如何选择检测模型场景需求推荐模型类型具体模型举例理由工业实时检测如视频流一阶段检测器YOLOv8, YOLO-NAS, PP-YOLOE推理速度极快精度满足大部分工业场景部署生态成熟。学术研究或高精度需求如自动驾驶两阶段或改进型端到端Faster R-CNN, Cascade R-CNN, Deformable DETR精度更高模型更鲁棒适合对误检漏检要求严苛的场景。需要实例分割两阶段扩展模型Mask R-CNN, Cascade Mask R-CNN天然扩展自检测框架掩码预测精度高。追求最新架构数据充足端到端TransformerDETR, Deformable DETR, DINO代表前沿方向避免手工组件长期来看架构更优。4. 超越分类与检测分割、生成与关键点模型精选清单中的模型远不止分类和检测它们共同构成了解决复杂视觉问题的工具箱。4.1 图像分割理解像素级语义图像分割分为语义分割为每个像素分类和实例分割区分不同个体。语义分割的里程碑FCN首次用全卷积网络实现端到端分割。U-Net凭借其经典的编码器-解码器结构和跳跃连接在生物医学图像分割中成为事实标准。DeepLab系列v3, v3通过空洞卷积Atrous Conv和空间金字塔池化ASPP来捕获多尺度上下文信息是通用场景语义分割的强基准。实例分割的佼佼者如前所述Mask R-CNN是开创者。YOLACT和SOLO系列则尝试用一阶段的方式做实例分割速度更快。分割任务的核心挑战与技巧 挑战在于如何平衡局部细节边缘清晰度和全局上下文物体类别一致性。U-Net的跳跃连接解决了局部细节恢复的问题。DeepLab的ASPP和空洞卷积则在保持特征图分辨率的同时扩大了感受野来获取上下文。 一个实用的技巧是在训练分割模型时使用预训练的检测或分类模型作为编码器骨干网络可以大幅加速收敛并提升性能。例如使用在ImageNet上预训练的ResNet-101作为DeepLabv3的骨干。4.2 图像生成从GAN到扩散模型图像生成领域经历了从生成对抗网络到扩散模型的范式转移。GAN时代StyleGAN系列是生成高质量、可控人脸图像的巅峰之作。其通过风格向量在不同分辨率上控制生成特征实现了对姿态、发型、光照等属性的解耦编辑。但GAN存在训练不稳定、模式崩溃等问题。扩散模型时代Stable Diffusion是当前的开源王者。它通过在潜在空间Latent Space进行扩散极大降低了计算成本。其“文本编码器-扩散模型-图像解码器”的架构使得通过自然语言提示Prompt控制图像生成成为可能。DALL-E 2和Imagen则是闭源模型中的杰出代表。使用生成模型的注意事项计算资源训练扩散模型需要大量的GPU内存和时间。对于大多数开发者微调Fine-tuning或使用LoRA等参数高效微调技术是更可行的方案。提示工程对于Stable Diffusion生成质量极大程度依赖于提示词。学习编写详细、结构化的提示词包括主体、细节、风格、画质、负面提示是一项必备技能。伦理与版权生成模型可能产生侵犯版权、包含偏见或有害内容的结果。在实际应用中必须建立内容审核机制。4.3 关键点检测从人体姿态到任意物体关键点检测用于定位物体的特征点如人体的关节、人脸的五官、汽车的角点。自顶向下方法先检测物体实例如人然后在每个实例的边界框内检测关键点。代表工作是HRNet它始终保持高分辨率特征表示通过并行多分辨率子网并反复进行信息交换预测的关键点更精准尤其在姿态估计中表现出色。自底向上方法先检测图像中所有关键点然后通过分组算法将它们关联到不同的实例。如OpenPose它能实现实时多人姿态估计。关键点检测的评估与调优 常用评估指标是对象关键点相似度OKS基础上的平均精度AP。调优时除了模型本身数据增强至关重要。针对姿态估计合理的随机旋转、缩放、裁剪要保证人体在框内以及关键点遮挡模拟随机丢弃部分关键点标签能显著提升模型的鲁棒性。对于人脸关键点则需要注意左右对称性的增强。5. 模型清单的使用心法与实战部署指南拥有这份清单只是第一步如何让它为你所用才是关键。下面分享一些从项目实践中总结的心得。5.1 如何高效“食用”这份模型清单按图索骥明确需求首先确定你的核心任务分类、检测、分割等然后根据清单定位到该任务下的模型家族。不要试图通读所有197个模型的论文那是徒劳的。精读里程碑泛读改进型对于每个方向精读1-2篇开创性或定义性的论文如ResNet, Faster R-CNN, Transformer, StyleGAN。对于后续的改进型工作重点阅读其摘要、引言和核心方法图理解它解决了前作的什么问题用了什么核心技巧。代码与论文对照找到该模型官方或高星的开源实现如GitHub上的MMDetection, Detectron2, 官方PyTorch实现。边读论文边看代码是理解模型细节最有效的方式。重点关注数据流如何转换、核心模块如何实现。利用模型库快速实验使用像PyTorch Image Models (timm)、MMCV、Hugging Facetransformers这样的高级库它们提供了统一的接口加载预训练模型让你能在几分钟内跑起一个基准测试快速验证模型在你的数据上的潜力。5.2 从Paper到Production模型部署的务实考量在学术论文里跑分很高的模型到了生产环境可能寸步难行。部署时需要考虑以下几个维度延迟与吞吐量模型推理需要多快是处理单张图片关注延迟还是处理视频流关注吞吐量使用TensorRT、OpenVINO、ONNX Runtime等推理优化框架可以对模型进行图优化、层融合、量化INT8在不损失太多精度的情况下大幅提升推理速度。一个经验法则在GPU上卷积操作高度优化CNN模型通常比同等精度的ViT模型更快但在经过特定优化的AI芯片上情况可能不同。内存与功耗模型参数有多大运行时占用多少显存/内存这对于移动端和嵌入式设备至关重要。可以考虑使用模型剪枝、知识蒸馏等技术来压缩模型。框架与生态模型是否容易集成到现有的服务框架中是否支持所需的硬件torchscript、ONNX是通用的模型交换格式但某些自定义算子可能需要额外实现。部署流程建议原型验证在PyTorch/TensorFlow中训练并验证模型精度。格式转换将模型导出为ONNX格式。注意检查算子支持情况可能需要对模型中的某些操作如动态切片、自定义激活函数进行重写以兼容ONNX。推理优化使用TensorRT等工具加载ONNX模型进行FP16或INT8量化生成优化后的引擎。服务化使用Triton Inference Server、TensorFlow Serving或简单的Flask/FastAPI封装优化后的引擎提供API服务。5.3 持续学习如何跟踪SOTA的进化这份197个模型的清单是静态的但SOTA是动态的。保持前沿嗅觉的方法关注顶级会议CVPR, ICCV, ECCV, NeurIPS, ICML 是计算机视觉和机器学习最新成果的集中发布地。关注它们的官方论文集网站。善用聚合平台Papers With Code 网站将论文、代码、排行榜Leaderboard结合在一起是追踪各任务SOTA最直观的工具。订阅arXiv关注cs.CV类别每天都有大量新论文预印本发布。可以使用arxiv-sanity等工具进行筛选。参与社区GitHub, Reddit (r/MachineLearning), 知乎、专业博客等社区经常有研究者对重要论文进行解读和讨论。最后我想说的是模型是工具而不是目的。这份清单的价值在于当你面对一个具体的视觉问题时它能帮你迅速缩小搜索范围找到那把最合适的“锤子”。但真正解决问题的永远是你对问题本身的理解、对数据的处理能力以及将模型与业务逻辑结合起来的工程实践。不要陷入“追逐最新SOTA”的焦虑中最适合的往往不是最前沿的而是最稳定、最可控、最能满足你项目约束的那一个。在实际项目中一个经过充分调优的ResNet-50其价值可能远大于一个你无法驾驭的、最新的大型视觉Transformer。