最近机器人学习圈子里刷到一条消息Reward AI 这家初创公司发布了通用操作策略 OM-1。这条新闻的引爆点不在“又一个机器人操作模型”而在它的训练条件——只用人类演示不靠遥操作也不依赖真机数据。做机器人操作的人都知道数据是最大的瓶颈。遥操作要一条条手工采成本高、速度慢仿真数据又长期困在 sim-to-real 迁移那道坎上。如果 OM-1 真能做到从人类演示直接学到通用操作能力等于把机器人和真实世界之间最难推的那扇门推开了一道缝。这篇文章我想从数据、算法、部署和踩坑四个层面把它拆开聊聊也顺便说说这套范式放到我们项目里到底该怎么用。1. 数据这事才是 OM-1 真正想掀翻的桌子1.1 遥操作数据的成本比大多数人想象的更沉重过去三年绝大多数具身智能团队做操作策略绕不开“遥操作采集数据”这条路。操作员戴着 Falcon 手柄、UR 示教器或者 SpaceMouse一个关节一个关节地遥控机械臂完成任务全程录下状态和动作序列。这套流程的问题不是“能不能用”而是“贵到你很难规模化”。我见过不少团队认真算过这笔账。一个熟练操作员一天高强度采集八小时大概能产出五百到八百条几秒钟的片段。注意这里说的还是简单任务比如抓取、开门、放杯子。如果是插拔线束、旋拧瓶盖、叠衣服这类精细活一条有效片段往往要在 setup、摆放、重置、失败重试之间反复折腾一分钟能出一段高质量数据都算效率不错。按这个速度想让策略学会十个任务变体并具备一定泛化能力几万条数据起步相当于一个专职操作员连续工作两三个月。这里面还有个很隐蔽的问题操作员的身形、习惯、施力方式会原封不动地变成训练数据中的“先验”。遥操作采出来的是机器人的动作轨迹但轨迹的风格其实是从人的操作习惯迁移过来的。于是你会看到模型在仿真里跑得好好的到了真机上动作“人味”很重时不时做出一些在机器人关节极限边缘试探的动作让人捏一把汗。所以 OM-1 提出“不用遥操作”这件事真正触动的不是某个具体任务的效果而是整个数据生产链条的成本结构。如果人类演示真能撑起训练那等于把“付费买操控时长”变成了“看视频学习”边际成本直接砍掉一个数量级。1.2 人类演示训练到底改变了什么所谓“人类演示训练”字面上就是让人去做任务采集人在操作过程中的视觉、手部动作甚至语音指令然后直接喂给机器人学习。但这里有个底层变化被很多人忽略了遥操作给模型提供的监督信号是“机器人关节轨迹”而人类演示提供的监督信号是“人手的运动与操作意图”。这个区别非常关键。关节轨迹是一个具身相关的信号——它只对当前这台机器人有效换个机械臂型号、换个末端工具轨迹就废了。而人手运动视频是一个具身无关的行为描述它里面封装的是更深层的东西任务是什么、人与物体怎么交互、手的哪个部位在什么时机对物体施加了什么样的力。一个容易理解但不完全准确的说法是遥操作是在“克隆员工”人类演示是在“看高手视频自学”。前者学的是肌肉记忆后者学的是动作逻辑。肌肉记忆换台机器就失灵动作逻辑可以迁移到不同形态的机器人上。OM-1 宣称不用真机数据本质上就是迫使模型去抽取后者因为人手轨迹和机器人关节轨迹之间没有一个可以直接套用的映射模型必须学会更高层的任务表征才能输出可用动作。1.3 人手与机器人之间的“异构问题”才是核心技术难点这里有个无法绕开的硬骨头叫异构空间对齐。人手有二十多个自由度加上手腕、前臂的旋转动作表达极其丰富。而常见的六轴机械臂加二指夹爪满打满算七八个可控自由度结构和人手完全不一样。人手可以侧捏、揉搓、弹拨这些动作在二指夹爪上根本不存在对应的物理实现。所以直接从像素级人手动作回归到机器人关节动作在数学上就是一个不适定问题——解不存在或者不唯一。怎么解决从目前行业的探索方向和 Reward AI 的技术描述来看大概率不是做显式逆运动学映射而是让模型先学习一个“任务相关的潜空间”在潜空间里把人和机器人的动作对齐。换句话说模型不去比较手的指尖位置和夹爪位置的欧氏距离而是比较“当前动作是否在推动任务朝目标状态前进”的语义距离。可以把这个问题类比成翻译人手动作是中文机器人动作是英文中间没有逐字对照表但两者描述的是同一个事件。一个好的翻译系统不是努力把汉字拆成字母去对应英文单词而是把意思抽出来再用目标语言重新表达。OM-1 大概率也是这个思路先抽取操作语义再在机器人侧重新表达为动作指令。这个思路听起来优雅落地的难点在于潜空间怎么构建。自监督对比学习、隐变量模型、扩散策略都有可能是它的载体。但从行业实践角度看不管用什么模型核心卡点永远是“对齐质量”——如果潜空间把不同任务的动作混在一起策略输出必然混乱如果潜空间过度关注人手形态又会丢失跨具身泛化能力。这块实际上就是 OM-1 这类模型最有技术壁垒的地方。2. 从“看见”到“做到”OM-1 的技术拆解2.1 通用操作策略的底座长什么样如果把 OM-1 放进今天的技术谱系里看它本质上是一个视觉-语言-动作模型简称 VLA。这类模型的输入是相机图像加语言指令输出是机器人的动作序列。行业里从 RT-2 到 OpenVLA思路都是靠大参数模型把“看”和“动”接起来。OM-1 的差异化在于它的动作训练信号来自人类演示所以中间必须插一层跨具身表示把观测到的状态映射成一个与机器人本体无关、但又包含足够操作信息的状态特征。整个管线大致分四段。第一段是数据预处理包括视频抽帧、去抖、背景抑制、视角归一化把手机拍的、监控拍的、平视视角的、俯拍视角的素材统一到同一个特征空间里。第二段是手-物交互特征提取模型不是对整张图一视同仁而是重点聚焦手部区域和物体接触区域把“手在哪儿、物体在哪儿、接触点在哪儿”编码成交互描述。第三段是跨具身对齐模块把交互描述映射到机器人的动作空间。第四段是策略头输出低层控制指令或轨迹规划结果。这里最值得注意的其实是第二段。人类演示视频里没有明确的交互点标注模型必须自己学会“看手才知道怎么动”。如果输入图像中手被遮挡或物体反光导致接触点不清晰策略很容易掉到“看着像在执行实际没抓住”的假成功状态。这也是为什么 OM-1 这类方案对数据质量要求极高虽然它省了采集成本但把成本转移到了清洗和标注环节。2.2 只有人类视频监督信号到底从哪来这是 OM-1 被问得最多的一个问题人类视频里只有像素没有机器人关节角度你拿什么做监督答案很可能不是某一种单一技术而是几条路线的组合。第一是自监督预测模型在训练时不是直接预测机器人动作而是预测视频下一帧的手部状态或物体状态。这相当于让模型自己建立“手移动 → 物体发生变化”的因果模型。第二是隐变量建模把一条演示视频压缩成一个隐变量这个隐变量描述“这一步操作的意图”策略网络再根据隐变量去生成机器人动作类似或借鉴扩散策略的做法。第三是任务空间编码把“绝对动作”换成“相对变化”比如“把抽屉拉出来五厘米”“把瓶盖旋转三十度”这类描述在不同机器人上都是可执行的。从这个角度看OM-1 训练的核心秘密可能在于它不学“机器人该怎么动”而学“任务状态该怎么变”。动作变成了一个结果状态的改变才是监督信号。这正好和人类演示的特征对上了——视频里虽然没有关节角度标签但每一帧都在告诉你任务状态朝着目标推进了多少。2.3 “通用”两个字底气从哪来通用操作策略最难的不是学会单个任务而是学会“没见过的物体、没见过的布局、没见过的机械臂也能上手”。这就要回到人类演示作为训练数据的另一个巨大优势互联网上有海量的人类操作视频炒菜、修车、组装家具、打螺丝场景和手法覆盖极其广泛。遥操作数据没法做到这个规模因为每一条都要真实机器人配合采集。人类演示不一样只要有人在做任务视频就是免费的训练燃料。当训练集覆盖了足够多的手势类型、物体类型和操作场景后模型就更有可能学到“工具该怎么拿”“物体哪个部位能施力”这类跨越具体实例的常识。这也是 OM-1 敢叫“通用”的一个重要原因它的数据规模和多样性天花板远高于遥操作方案。但通用也意味着宽容度变低。一旦模型真实部署到一个没见过的新场景它必须依赖训练中积累的常识补全信息。比如摆在桌上的是一个训练集里没有的异形杯子模型能不能判断出该握杯身而不是握杯口这就考验它的泛化能力。实际上从我现在看到的演示效果和行业反馈来说OM-1 对常见桌面操作任务泛化得不错但遇到极端光照、透明物体、细长线缆这类挑战仍会出现不稳定行为。这也是后续最值得持续跟进的观察点。3. 想验证 OM-1 这套思路实操环节我建议盯住这些地方3.1 人类演示数据采集质量和覆盖比数量更优先如果你也想复现 OM-1 的思路或者至少验证“人类演示训练”在自己的场景里能不能跑通第一步不是急着堆数据量而是把数据质量管住。业内一个常见误区是认为“视频越多越好”但人类演示视频里的噪声往往比遥操作数据大得多。手部遮挡、镜头晃动、光照突变、多任务混在一起没有切分这些噪声会直接传导到策略里。先说采集设备。最省事的方案是用 RGB-D 深度相机以平视或略俯视角架设在操作区域前方保证手部和物体都能被清楚看到。如果条件允许可以在侧方和上方各加一个机位便于训练时做视角增强。动捕手套和头戴式设备能提供更精确的手部姿态但成本高、穿戴复杂前期验证不推荐直接上先用单视角视频跑通闭环更重要。然后是数据切分与标注。一段长视频里往往包含多个任务比如“拿起杯子—倒水—放回桌上”其实是三个动作单元。训练前需要把视频切分成任务级别的片段并为每个片段标注语言指令。这个步骤没人替你做只能靠人工或半自动工具。写个简单的脚本用目标检测先定位手和物体再按接触时间切分能省不少功夫。我一贯的建议是刚开始不要追求动辄几百小时的数据。先用五百到八百条短视频覆盖五到十个任务变体把训练和评估的闭环跑通。然后再根据失败案例反推缺什么场景针对性地补数据。这个迭代节奏比一次性堆数据高效得多。3.2 训练和评估指标不要只盯成功率评估通用操作策略最忌讳的是只看一个成功率。因为“打开抽屉”这个任务在固定位置、固定外观的抽屉上做到百分百成功和在十种不同类型抽屉上做到百分之六十成功背后是完全不同的能力。建议至少设置三组指标。第一组是任务成功率这是基线看策略能不能完成目标。第二组是泛化成功率在评估时故意改变物体位置、颜色、光照方向和桌面纹理看策略的性能掉多少。第三组是跨具身迁移指标如果条件允许把同一套模型部署到不同型号的机械臂上看它在接触新硬件时是否需要重新训练、以及微调多少数据才能恢复性能。我在实际项目中还发现一个很有用的辅助指标人类演示一致性。简单说就是让模型生成的动作回放出来拿给熟悉任务的人看判断这段动作是否像一个正常人会做的操作。这个指标虽然主观但能暴露出成功率掩盖的问题。比如模型学会了把物体推下桌子来“完成”清理任务成功率是高但动作完全违背操作常识。这种事在人类演示训练里尤其容易发生因为模型没有物理约束常识会走捷径。3.3 真机部署的安全问题宁可慢一点从仿真到真机或者直接从人类演示模型到真机部署安全措施一定是第一优先级。OM-1 这类策略如果是在标准桌面臂上加二指夹爪初期部署时强烈建议先做三件事限速、限位、急停。先说限速。不是所有动作都需要高速完成先以正常速度的百分之三十到五十跑观察策略是否会出现违反物理直觉的抖动或急停。再说限位。在控制层把关节角度、末端速度、力矩全部加上安全约束一旦超出范围立即软急停。最后是急停按钮听起来是老生常谈但真在测试时经常有人嫌麻烦不装。我见过不止一次模型突然把夹爪往台面上猛锤的场景没有急停就得手忙脚乱按电源。部署环境的搭建上也有个建议初期测试时不要把任务场景搞得太复杂。用螺丝把物体托盘固定在工作台上减少物体位置漂移这样如果策略失败更容易排查是视觉问题还是控制问题。等基础版本稳定了再逐步撤掉这些“测试辅助设施”一步步向真实环境逼近。4. 从人类视频到机器人行为最容易翻车的几个点4.1 手被遮挡、视角切换、目标混淆很多人第一次跑通人类演示训练后会在真机测试时遇到一个哭笑不得的现象模型一直盯着人手位置而不是物体位置。原因是训练视频里人手始终出现在画面中心模型把“手在画面中心”当成了重要特征。但到了真机上机械臂末端和人的手长得完全不一样模型找不到“手”策略就乱了。这个问题的根源在数据。拍摄演示视频时手部在画面中的占比、位置、运动模式要尽量接近机械臂在实际部署时的表现。如果人手总是居中模型就会把位置模式当成特征。解决办法是采集时故意让手在画面不同位置出现或者在训练时做大量随机裁剪和偏移增强。另一个常见问题是手被物体遮挡特别是抓取动作接近完成时手通常会包住物体此时模型必须依靠物体状态推断动作而不是盯着接触点。如果演示视频里大量存在这类遮挡建议引入多视角数据让模型至少有一个视角能看到接触区。4.2 泛化失败的典型场景几乎都有规律可循泛化失败是我平时测试这类策略时最关注的环节。典型场景包括物体颜色变了、物体换了材质、相机高度变了、机械臂的初始姿态不在训练分布内。大部分失败并不是模型“变笨了”而是它的视觉特征依赖了训练数据里的表面线索。比如训练数据里杯子是白色陶瓷的模型可能会把“高光区域”当作杯子的关键特征。部署时换成一个磨砂深色马克杯没有高光模型就找不到抓取位置。要缓解这个问题最好的办法是数据多样性而不是调参。训练视频里尽量多换桌面颜色、物体颜色、光照角度和相机视角让模型学到的特征回到“杯子的形状和把手位置”这类本质属性上。长时序任务还有一个特有麻烦误差累积。模型每一步都做得差不多但小误差不断叠加十步之后末端位置偏移越来越大最终抓空。对这种问题光加数据没用了必须在策略层面引入闭环修正。比如每隔一定步数重新识别物体位置并根据当前视觉输入修正轨迹而不是把整条轨迹一次性生成完让它闷头执行。4.3 几条独家避坑建议实测下来都很有用避坑经验这种东西只有在真机现场出过问题才会记得住。我把踩过几次坑后沉淀下来的几条整理成了表格供你参考问题典型表现推荐对策演示视角单一真机上视角稍偏策略立即失效采集时至少用两个视角训练时多做视角增强手部区域占比过大模型过度关注手部位置忽略物体让手在画面不同区域出现控制手部占比低于30%物体初始位置固定换个摆放位置就抓空演示时故意变化物体起始位置和朝向增加 reset variation长时序动作误差累积初始几步准确后面逐步漂移引入循环闭环定期重新定位物体修正执行轨迹任务边界模糊模型把“拿杯子”学成“碰一下杯子”在演示视频里强化任务结束条件明确物体最终状态忽略物体物理属性对透明物体、反光物体定位失败在训练数据中加入透明、不同材质物体的负样本其中“reset variation”这条我想多说一句。很多人觉得演示数据只要动作标准就行其实每两条演示之间物体的起始位置、朝向、桌面上摆放的杂物最好都稍微有点变化。这样模型才能学会“不管物体在哪儿都能找到并操作它”而不是把“固定位置抓取”背成一个映射表。5. 这件事对行业和开发者的真实影响OM-1 出来后很多人先关注它的技术细节但我觉得更重要的是它在改变一个行业前提机器人操作策略的数据来源正在从“机器人侧”转向“人类侧”。过去做一个操作项目先买机器人再培训操作员然后花几个月采数据。这套流程把数据获取成本焊死在“物理设备”上小团队很难和大厂比拼规模。而人类演示训练把门槛砍掉了一大截只要能录到高质量的人做任务的视频数据就有了。这会让机器人操作赛道的竞争点从“谁有更多机器人”转向“谁有更好的数据管线”和“谁的数据覆盖面更合理”。对开发者来说这意味着两件事。第一数据处理能力变得更加核心。我见过太多团队把算力堆在模型上但数据清洗和场景规划一塌糊涂最终效果远不如那些数据处理精细的小团队。第二跨硬件适配能力会变成新的护城河。OM-1 这类模型天然与硬件解耦之后谁能把一套模型快速迁移到不同机械臂上谁就能在行业中掌握更多话语权。我个人对这套范式的态度是审慎乐观。审慎是因为它的泛化边界还需要更多真机验证乐观是因为数据瓶颈一旦被打破具身智能的迭代速度会完全不一样。我打算后面用实际项目再跑一轮人类演示训练的数据管线从采集、清洗到部署全流程记录一遍把那些只能在实际操作里发现的问题摊开来说到时候再和你细聊。