今年视觉方向一个值得注意的变化是 Ultralytics YOLO26 把深度估计任务正式收进了自家框架。以前想在一套代码里同时拿到目标框、分割掩码和场景深度通常要拼凑多个独立仓库接口、格式、训练方式各有各的脾气。现在这个新版本把深度估计任务纳入 Ultralytics 的统一流程里单从工作流角度看确实比单纯刷高几个精度点更有实际意义。但我想先说清楚一个判断这次更新真正的价值不在“YOLO26 也能输出深度图”这个表面功能而在于视觉任务的工作流被合并了。检测、分割、深度估计共用同一套数据组织方式、训练脚本、推理入口和导出链路这对工程落地的影响远比模型本身的效果提升更值得长期关注。下面我从环境准备、任务机制、训练数据、部署链路到排查路径把这条线完整拆开讲一遍。1. 这次更新的核心不是深度估计本身而是工作流合并1.1 过去做深度估计为什么这么麻烦单目深度估计在很早之前就有不少成熟的开源方案但工程上一直没有像目标检测那样“拿来就能用”。问题主要出在以下几个方面数据格式不统一。有的项目用 16 位 PNG 存深度图有的用 npy 文件有的用 HDF5字段命名也没有统一标准。训练入口分散。每个仓库都有自己的参数解析方式、预处理管线、模型保存格式换一个模型就等于重新学一遍工具链。和检测任务很难打通。实际业务里往往既要检测框又要每个目标的距离信息。这时候常见做法是先用检测模型截出目标区域再把裁剪后的图像送进深度估计模型中间要处理对齐、缩放、坐标映射等一系列琐碎问题。结果验证成本高。深度估计的评估指标不像检测那样直观很多人跑完训练后只看一眼彩色深度图觉得“差不多”但放到真实场景里测就会发现尺度完全不对。这些痛点累积起来导致深度估计在落地项目里经常被放到“后面再说”的位置。不是技术做不到而是工程整合成本太高。1.2 YOLO26 把深度估计放进统一框架实际改变了什么YOLO26 这次加入深度估计任务从用户视角看最大的变化是任务边界被抹平了。在 Ultralytics 的架构下检测、分割、姿态估计、分类这些任务共用一套核心训练和推理框架。现在深度估计也进入同一个体系意味着你不需要再单独搭一套“深度估计专用环境”。数据准备方式可以和检测、分割保持一致只是标签从框、掩码变成了深度图。训练入口、验证入口、模型导出入口都是同一套 CLI 和 Python API。如果之后要在同一个项目里同时跑检测和深度估计也不用在内存里维护两套推理代码。对工程人员来说这种“少维护一套工具链”的收益比模型精度上的一两个百分点实在得多。尤其是中小团队人员有限视觉任务又多能用一套框架串联多种任务长期维护成本会明显下降。1.3 先做一个判断它适合哪些人和场景这个新功能最适合的是那些已经用 Ultralytics 做过检测或分割现在又需要补充场景深度信息的团队。因为你们的学习成本几乎为零环境是现成的数据组织逻辑也高度相似。但如果你要做的不是工程落地而是专门研究深度估计算法、追求某个榜单上的 SOTA 效果那 YOLO26 的深度估计任务未必是你的首选。它更适合作为通用工程方案而不是顶尖学术方案。这个边界要先想清楚避免预期错位。2. 从环境准备到第一次跑通深度估计2.1 环境准备先确认版本再开始动手在跑任何功能之前第一件事是确认你安装的 Ultralytics 版本确实包含深度估计任务支持。很多人在旧版本上写好了代码升级之后才发现 API 有变化或者新功能根本不在自己的版本里。常见做法是创建独立的虚拟环境避免污染已有的项目依赖python -m venv yolo26-depth source yolo26-depth/bin/activate pip install --upgrade ultralytics安装完成后可以快速检查当前版本yolo version如果你在安装后执行命令时发现帮助信息里没有出现深度估计相关的任务参数那大概率是版本不够新。先升到包含深度估计支持的版本再进行后续操作。注意不要在项目升级到一半的时候贸然继续训练任务。先在新环境里把一次最小推理跑通再考虑迁移旧代码。2.2 用命令行和 Python API 跑一次推理深度估计任务的推理形式和检测非常接近。如果官方发布了对应的预训练权重通常可以用类似这样的命令跑起来yolo predict modelyolo26n-depth.pt sourcebus.jpg这里model参数指向 YOLO26 的深度估计模型文件source可以是单张图片、图片目录或者视频文件。执行完以后输出目录里会生成深度图和原始图像的叠加结果。用 Python API 也一样直观from ultralytics import YOLO model YOLO(yolo26n-depth.pt) results model(bus.jpg) for result in results: result.plot()注意上面这个模型文件名是一个示例结构。实际模型文件叫什么名字、有哪些规格可选要以官方 Release 发布的信息为准。第一次使用不要盲改文件路径先去仓库页面对照一下文件名。2.3 第一步只验证三件事不少人在第一次跑通之后会急着换自己的数据集。我的建议是第一步只验证三件事控制台和输出文件里任务类型是不是 depth。输出结果里确实生成了深度图而不是一张空白图或彩色噪声图。换一张不同尺寸、不同内容分布的图片结果仍然能稳定输出。这个阶段不要调任何参数也不要一次性处理几千张图。先通过这三项验证基本就能确定环境、权重、结果显示链路都是通的。之后再进入数据准备和训练环节才不会把问题混在一起排查。3. 理解深度估计任务的关键机制才能用好它3.1 深度估计的输入输出和检测有何不同检测任务输出的是边界框坐标、类别置信度有时还有实例掩码。分割任务输出的是每个像素的类别或实例归属。而深度估计任务的核心输出是每个像素对应的深度值通常组织成一张单通道深度图。在显示时深度值会被映射成灰度或彩色图。更亮的像素一般代表更近或更远具体取决于后处理时采用的映射方式。不同仓库的映射习惯可能相反这也是跨项目复用代码时最容易踩的坑。另外不是所有深度估计模型输出的都是真实的“米制距离”。很多基于单目深度估计训练的模型输出的是相对深度值的大小能反映远近关系但不能直接当成物理距离使用。这是后续落地时最需要警惕的一点。任务类型主要输出一个典型用途目标检测边界框、类别、置信度识别物体位置和类别实例分割像素级掩码、类别区分每个独立目标轮廓深度估计逐像素深度值/深度图判断场景中物体远近关系3.2 模型结构的变化在哪里YOLO26 做深度估计不只是换了一个输出头而是把原来的检测头替换为适合密集预测的解码结构。密集预测指的是要为图像中的大量像素点同时输出结果而不是只输出几个稀疏的框或掩码。这带来的变化是模型需要把不同尺度的特征融合起来才能同时保留全局布局和局部细节。输出分辨率通常要恢复到输入图像的分辨率或者至少是较大的空间尺寸所以解码部分会比检测任务重一些。损失函数也和检测不一样。深度估计常用的是深度误差度量不是分类损失和边框损失。具体 YOLO26 的 backbone、neck、head 是怎么组合的要看官方结构图或源码。这里想强调的是一种认知对深度估计任务来说负责“生成密集深度值”的解码结构对最终效果的影响往往比 backbone 的微调更直接。所以后续如果做改进不要一上来就换主干网络先理解当前 head 的行为和限制。3.3 相对深度和绝对尺度的边界这是初学者最容易产生误解的地方。当你看到 YOLO26 输出一张清晰的深度图不同物体之间有明显的远近分层你会下意识觉得“距离已经拿到了”。但如果这个任务是在相对深度上训练的那么你拿到的只是一个有序的远近关系而不是可以用于实际测距的绝对数值。如果业务里需要的是绝对尺度信息比如机器人避障要判断前方障碍物距离 0.8 米还是 2.3 米那就需要额外解决尺度恢复问题。常见思路包括使用包含绝对深度标注的数据集进行训练或微调。在运行时借助已知尺寸的物体、相机参数或其他传感器信号进行尺度标定。把深度估计结果的用途限制在“相对远近判断”或“辅助视觉理解”而不是精确测量。这个边界不搞清楚很容易给项目埋下大坑。4. 在自定义数据集上训练深度估计模型4.1 数据准备不能只准备图片很多做检测项目的人第一次转向深度估计时习惯性地只准备了一堆图片结果发现任务根本跑不起来。原因很简单深度估计需要图片和深度图成对出现。数据准备阶段至少要满足这些条件每张输入图片对应一张深度图。深度图与原图尺寸一致内容对齐。深度图的格式要是可读的常见的有 16 位 PNG、npy、TIFF 等。标注中不能包含太多无效区域否则训练时可能引入大量噪声。如果深度图来源是深度相机要提前处理数据中的空洞和传感器噪声如果来源是人工标注或合成数据则要重点检查边缘对齐情况。深度图质量直接决定模型上限这一步别省。4.2 数据 YAML 和模型配置Ultralytics 系列任务通常会通过一个 YAML 文件描述路径和类别信息。深度估计任务的数据 YAML 结构和检测任务有相似之处但具体字段要按深度估计任务的要求来写。大致结构可以这样理解path: /path/to/depth_dataset # 数据集根目录 train: images/train # 训练图片目录 val: images/val # 验证图片目录 depth: depth_maps # 深度图目录或对应字段具体以官方文档为准这里给出的只是常见写法不代表所有版本都一定这样实现。动手前先看官方文档里深度估计数据配置最终怎么定义。否则按旧习惯写出来训练时很容易报错或读到空数据。模型配置方面Ultralytics 里经常用 YAML 文件描述模型结构。如果你需要参考 RT-DETR 或其他结构在 Ultralytics 里的修改方式通常也是改这个 YAML 文件。要注意的是不要同时改模型结构、数据集和训练参数一次只动一个变量才能定位问题出现在哪一层。4.3 训练从哪里开始最稳第一次训练深度估计模型不要追求一次性达到很好的效果。建议按这个顺序来先拿小数据子集跑通训练流程epoch 设置得小一点确认日志、验证、保存链路是完整的。如果官方提供了预训练权重优先在预训练权重基础上微调而不是从零训练。逐步增加数据量和训练轮数观察验证集上的深度误差和可视化效果。只有确认训练流程稳定之后再调整数据增强、损失项、学习率策略等超参数。实际操作里我见过不少人在训练阶段反复卡住原因不是代码写错而是数据没有对齐图片增强之后深度图没有做同样的几何变换结果模型在扭曲输入上学不到真实的空间关系。所以在设计训练管线时要特别注意数据增强是否同时作用于图片和深度图。5. 落地部署单次跑通只是开始5.1 从导出到推理的链路训练完模型真正的考验才刚开始。很多人会在笔记本上跑出漂亮的深度图但一到部署阶段就发现速度、显存、算子支持全是问题。常规流程是先导出为 ONNX 或 TensorRT 格式。命令行里通常可以这样导出yolo export modelbest.pt formatonnx导出后要检查输出张量的 shape确认是不是预期的深度图尺寸和通道数。如果输出张量的形状不对后面写推理代码会很痛苦。在 Python 侧用 ONNX Runtime 做验证时可以这样理解流程import onnxruntime as ort import numpy as np session ort.InferenceSession(best.onnx) input_name session.get_inputs()[0].name # 假设输入是 [1,3,H,W]preprocess_image 负责 resize、归一化等工作 input_data preprocess_image(input.jpg) outputs session.run(None, {input_name: input_data}) depth_map outputs[0] # 根据导出模型的输出定义取相应的张量这段代码更像是一个通用的结构示例具体输出张量的取值、索引、后处理方式都要根据你实际导出的模型来定。5.2 关于 C 部署的几条经验C 部署时最容易出的问题不在模型本身而在预处理和数据对接。深度估计模型和检测模型的预处理逻辑不一定相同。如果你把检测任务的归一化参数、通道顺序、resize 方式直接拿过来用深度图输出质量很可能会异常。我自己的建议是在写 C 推理代码之前先在 Python 侧用同一个 ONNX 文件做一次标准推理记录每一步的输入 Tensor 值和输出 Tensor 值。然后再在 C 里做同样的操作逐层对比。这样可以快速定位问题是出在图像读取、预处理、还是后处理。以下是部署时值得检查的位置图像读取后通道顺序是 RGB 还是 BGR。归一化是 /255还是 /127.5 再减 1。resize 用的是线性插值还是最近邻。输入尺寸是否和训练时一致。深度图后处理时值域映射是否正确。5.3 边缘设备部署要注意什么热词里有很多人关注 RK3588 这类边缘设备上运行 YOLO26。边缘设备部署深度估计任务和服务器端是完全不同的逻辑。首先NPU 对神经网络算子的支持并不总是完整的。检测模型常用的算子在边缘设备的推理框架里可能已经优化得很好但深度估计特有的解码结构里可能包含一些未适配的算子。这时候要么改用 CPU 算子回退要么修改解码结构让它更贴近 NPU 支持的算子集合。其次量化是边缘设备部署的常规操作但 INT8 量化对深度估计的影响通常比检测更大。深度图本质上是对连续数值的预测量化带来的精度损失会体现为深度图边缘模糊、细小物体丢失、远近距离分层不明显。所以在导出和量化后一定要做质量对比不能只看精度指标。低光场景也要提前有预期。深度估计依赖图像纹理和轮廓信息低光环境下图像信噪比下降模型需要更强的前端增强而不是盲目加训练数据。更稳妥的做法是先改进输入图像质量比如提升曝光、用图像增强算法处理再送到深度估计模型里。不要指望模型在过于极端的低光图像上还能稳定输出。6. 新手最常踩的坑与一条可复用的排查路径6.1 按现象、输入、环境、参数、质量逐层排查在训练或推理过程中遇到问题不要急着改代码先按下面的顺序定位。排查层级要检查的问题典型现象现象是报错、没有输出、输出全黑还是结果不稳定控制台报错、生成空图、验证集指标不收敛输入图片格式、尺寸、通道、路径是否正确数据读取失败、尺寸不匹配、输出噪声大环境版本、依赖、GPU 显存、算子支持算子不兼容、显存溢出、版本 API 不一致参数imgsz、batch、epoch、学习率、任务类型训练崩溃、推理超时、输出分辨率异常数据质量深度图对齐、空洞、遮挡、噪声、尺度不一致模型不收敛、边缘模糊、结果普遍偏暗或偏亮大部分问题只要逐层排查都能快速定位。如果你跳过前几步直接调参数往往会越调越乱。6.2 低光或复杂场景的处理思路低光环境下的深度估计是工程里被问得最多的场景之一。首先要接受一个现实单目深度估计在黑暗环境中本身的输入信息就缺失严重模型再强也很难无中生有。比较靠谱的处理路线是先做输入图像增强。直方图均衡、去噪、曝光调整都可以改善模型输入质量。如果有条件让相机在采集端就提升弱光表现比任何算法后处理都更有效。不要为了低光单独训练一个小模型除非你有真实的低光成对深度数据。用合成数据增强低光效果很多时候并不符合真实 sensor 噪声分布。验证时要保留低光场景比例只拿白天数据验证会掩盖真实问题。6.3 什么时候该换方案而不是继续硬调单目深度估计有它的物理边界。透明物体、反光表面、动态模糊、大面积无纹理区域都会让单目模型出现误差。如果业务对这几类场景非常敏感单纯调模型参数很难彻底解决。这时候要判断问题是不是模型能力不足还是任务本身就不适合单目方案。如果场景中要求精确距离或者光线条件极端多目相机、结构光、激光雷达等方案可能更可靠。不要因为新功能上线就把所有问题都往一个模型上堆。7. 长期价值与适用边界7.1 什么场景真正值得用 YOLO26 做深度估计从长期使用角度看YOLO26 的深度估计功能在以下几类场景里最有价值视觉任务编排型项目已经在用 Ultralytics 做检测、分割现在需要额外深度信号可以少维护一套代码。快速原型验证先快速看深度估计效果验证需求是否可行再决定要不要上专用深度方案。自动标注辅助用深度估计辅助后续的 3D 标注或空间理解任务不需要绝对精确只需要远近关系正确。轻量级实时应用设备能跑得动检测模型顺带输出深度图用低成本实现“场景空间粗理解”。这些场景共同点是对深度估计的精度要求是“够用”对工程集成成本的要求是“尽量低”。这正是 YOLO26 深度估计任务的发力点。7.2 什么场景先别急着切反过来有几类场景建议谨慎使用甚至不要一开始就采用高精度测距场景。如果业务需要一个物体距离的厘米级误差单目深度估计通常做不到。安全关键系统。自动驾驶、医疗辅助等场景不能把决策完全押在一个深度估计模型的输出上至少需要多传感器融合和冗余校验。极端低光或反光强烈的场景。如果输入图像本身信息严重缺失模型输出不可控。已经有成熟深度估计方案、且效果满足要求的团队。没有明显收益时不要为追新而迁移。各阶段操作整理回到文章最初那个判断YOLO26 深度估计任务真正值得记录的是它把深度估计拉进了统一的工程化轨道。对一个长期使用检测、分割框架的团队来说新增一种任务不再意味着新环境、新仓库、新部署工具链这本身就是效率提升。如果你现在正打算试用这个功能我的建议是不需要一上来就规划完整方案。先去官方仓库确认版本和示例权重跑通一次推理确认结果输出正常然后把你手里的真实图片放进去看看效果。这一步最多花半小时但能帮你判断这条新链路值不值得继续投入。深度估计入门的门槛从来不在“能不能跑通”而在于你能不能理解输出结果代表什么、边界在哪里、什么场景真正用得上。YOLO26 这次做的是把“跑通”这个门槛又压低了一点。至于能不能用好还是取决于你对任务本身的理解有多深。