机器人做十几分钟的家务真正难的往往不是某一次抓取而是同时记住两类完全不同的信息眼前几秒里夹爪是否被遮挡、门刚才往哪边开以及更早之前已经拿过哪些食材、还剩哪些步骤。把所有历史图像直接塞进 VLA计算量会迅速失控只把历史压成一句文本又会丢失几何细节。MEM 的答案是把记忆拆成两个尺度短期用稠密视频保留动作细节长期用语言摘要记录任务进度再由分层策略分别消费这两种记忆。核心结构高层 VLM 维护长期文本记忆并生成下一条子任务低层 VLA 使用短期视频记忆生成动作块。高效视频记忆在 ViT 中交替加入空间注意力与因果时间注意力上层只保留当前帧 token避免历史长度把 VLA 主干拖慢。训练方式预训练阶段就引入数秒历史后训练再扩展到 18 帧、约 54 秒长期记忆标签由离线 LLM 将子任务与成败信息压缩而成。主要结果模型可完成最长约 15 分钟的真机任务记忆使筷子抓取和冰箱开门的在上下文适应成功率分别提高 11 和 62 个百分点。开源状态论文与项目页已公开但训练代码、配置、权重和数据均未公开官方openpi只能作为 π0/π0.5 基座参考。论文arXiv:2603.03596项目主页Physical Intelligence — Memory官方基座仓库Physical-Intelligence/openpiMEM 源码与权重尚未公开图 1 先给出了整篇论文最重要的关系语言记忆负责已经做过什么视频记忆负责刚才具体发生了什么。两者不是重复记录而是在信息粒度和时间跨度上互补。1、问题定义机器人为什么需要两种记忆传统端到端策略通常把最近若干帧观测作为条件。这个做法能缓解瞬时遮挡却很难覆盖十几分钟的任务历史帧越多视觉 token 越多注意力成本和推理延迟都会上升大幅降采样又可能错过一次失败抓取、物体滑落或门的运动方向。另一方面任务进度本身并不需要逐帧保存。例如牛奶已经放上台面、还差黄油只需几个文本 token但它必须跨越很长时间。MEM 因而把记忆按用途拆开记忆类型时间范围表示主要解决的问题使用者短期视频记忆最长约 54 秒稠密视觉与本体状态遮挡、失败重试、物体运动、操作策略适应低层 VLA长期语言记忆单个 episode最长约 15 分钟压缩文本摘要步骤完成情况、物品位置、任务进度高层 VLMMEM 的历史信息只作为条件进入分层动作策略。测试时输入是当前/历史相机观测、历史本体状态、任务指令和已有语言记忆输出则是下一子任务与机器人动作。2、整体架构高层管进度低层管动作图 2 左侧是高层策略它读取当前图像、目标和上一轮语言记忆同时输出更新后的记忆与下一条语言子任务。右侧是低层策略它读取子任务、短期视频、当前观测和本体状态再由动作专家产生动作块。论文将联合策略近似分解为π ( a t : t H , l t 1 , m t 1 ∣ o t − T : t , m t , g ) ≈ π L L ( a t : t H ∣ o t − K : t , l t 1 , g ) π H L ( l t 1 , m t 1 ∣ o t , m t , g ) \pi(a_{t:tH}, l_{t1}, m_{t1}\mid o_{t-T:t},m_t,g) \approx \pi_{\mathrm{LL}}(a_{t:tH}\mid o_{t-K:t},l_{t1},g) \pi_{\mathrm{HL}}(l_{t1},m_{t1}\mid o_t,m_t,g)π(at:tH,lt1,mt1∣ot−T:t,mt,g)≈πLL(at:tH∣ot−K:t,lt1,g)πHL(lt1,mt1∣ot,mt,g)其中符号含义在模型中的作用g gg用户给出的任务目标约束整个 episodeo t − T : t o_{t-T:t}ot−T:t长时间范围内的观测历史表示理论上可用的完整历史o t − K : t o_{t-K:t}ot−K:t最近K KK帧观测且K ≪ T K\ll TK≪T构成低层短期视频记忆m t , m t 1 m_t,m_{t1}mt,mt1更新前、更新后的语言记忆压缩长期任务进度l t 1 l_{t1}lt1高层生成的下一子任务连接高层规划与低层控制a t : t H a_{t:tH}at:tH长度为H HH的动作块由低层策略执行这个分解带来一个清晰的工程边界高层不必逐帧处理长视频低层也不必从头推断整段任务进度。论文图中高低层分别绘制但没有明确说明二者是否共享全部权重或来自同一 checkpoint因此这一点应视为未确认。3、短期视频记忆把历史压在视觉编码器里3.1、空间—时间分离注意力直接把K KK帧、每帧n nn个 patch 合并做全局注意力复杂度近似为O ( n 2 K 2 ) O(n^2K^2)O(n2K2)MEM 先在每一帧内部做空间注意力再让同一空间位置跨时间做因果注意力复杂度变为O ( K n 2 n K 2 ) O(Kn^2nK^2)O(Kn2nK2)n nn是单帧空间 patch 数K KK是历史帧数。第一项对应逐帧空间注意力第二项对应同一 patch 位置的时间注意力。论文具体实现为每隔 4 个 ViT 层插入一次因果时间注意力其余层沿用空间注意力。图 4 的蓝色层表示时间注意力。关键不只是看更多帧而是历史 token 在视觉编码器内部完成融合到上层后过去时刻的观测 token 被丢弃只把当前时刻的表示送入 VLA 主干。这样主干接收的 token 数不会随历史长度同比增长。时间位置使用固定正弦编码并令当前时刻的位置编码e ( 0 ) 0 e(0)0e(0)0z ^ p , t l − 1 z p , t l − 1 e ( t ) , e ( 0 ) 0 \hat z_{p,t}^{l-1}z_{p,t}^{l-1}e(t),\qquad e(0)0z^p,tl−1zp,tl−1e(t),e(0)0z p , t l − 1 z_{p,t}^{l-1}zp,tl−1是第l − 1 l-1l−1层中空间位置p pp、时间t tt的 tokenz ^ \hat zz^是加入时间位置后的 tokene ( t ) e(t)e(t)表示相对时间。令e ( 0 ) 0 e(0)0e(0)0的直接好处是当K 1 K1K1时可以与原图像 ViT 完全一致地初始化而且视频编码器相对基础图像 ViT不新增可学习参数。3.2、延迟为何没有随帧数爆炸图 3 测量的是 π0.6 VLA 在单张 NVIDIA H100、四路相机输入下的视频编码推理时间。把所有观测直接送入主干的朴素方案在 16 帧时超过 3.5 秒而 MEM 视频编码器仍低于 300 ms。这里不能把图中数值当成完整机器人控制周期论文没有给出从相机采集、动作解码到机器人执行的端到端延迟拆分。4、长期语言记忆重点不是追加而是压缩简单做法是把历史子任务不断拼到上下文中但论文消融表明这种 Naive Text Video Memory 明显弱于 MEM。原因是训练演示通常接近最优同一子任务只出现一次真实推理时机器人却可能连续失败高层反复生成相同指令。直接追加会制造明显的训练—推理分布偏移。MEM 的长期记忆标签由离线流程产生先收集 episode 的子任务注释和成败标记再交给一个现成 LLM只保留之后仍有用的信息并删除过时内容。作者没有公开该 LLM 的名称、完整提示词或质量控制规则。训练目标可概括为输入当前图像、任务目标和上一轮记忆预测下一条子任务同时预测更新后的语言记忆对连续失败的尝试不盲目写入长期记忆通常等子任务成功后再更新完成状态。例如机器人执行准备烤奶酪三明治时长期记忆可写成面包和黄油已放到台面奶酪尚未取出短期视频则保留夹爪刚才从筷子上方滑过或冰箱门向左拉失败的具体过程。前者回答下一步做什么后者帮助低层改变下一次操作策略。5、训练流与推理流5.1、训练阶段图 5 展示了食谱准备、厨房清理和烤奶酪等长任务中的连续步骤。MEM 并不是只在小规模长任务数据上学习记忆而是把记忆机制带入更大的预训练混合数据。训练流可以归纳为四步预训练混合使用遥操作示范、策略 rollout、人类纠正以及图文和视频语言任务视频预训练输入 6 个观测即当前帧加 5 个历史帧时间间隔约 1 秒。低层动作学习π0.6 同时使用离散 FAST 动作 token 与连续 Flow Matching 动作专家。图中动作专家规模为 860MVLM 侧由 SigLIP 400M 视觉编码器和 Gemma 3 4B 语言模型初始化。知识隔离动作专家的梯度不回传到 VLM 主干避免连续动作学习破坏视觉语言知识。后训练扩窗把视频记忆扩展到 18 帧和约 54 秒并在目标长任务与纠正数据上适配。需要注意18 帧并不代表 18 个连续控制时刻而是覆盖约 54 秒的稀疏历史论文未给出所有任务统一的采样频率和动作块长度因此不能据此反推机器人控制频率。5.2、推理阶段一次高低层循环可理解为输入任务目标 g、当前图像 o_t、上一轮语言记忆 m_t → 高层生成下一子任务 l_{t1} 和新记忆 m_{t1} → 视频编码器压缩最近 K 帧图像与历史本体状态 → 低层 VLA 以 l_{t1} 为条件生成动作块 a_{t:tH} → 通过 RTC 异步执行动作块并继续接收新观测 → 到达高层更新点后重复上述过程当前图像以每路448 × 448 448\times448448×448分辨率输入最多四路相机历史本体状态经线性层投影成K KK个连续 state token而不是转成文本。真机执行可使用推理期 RTC 或训练期 RTC 来缓解动作块切换造成的停顿。测试时仍需历史视频和本体状态但不需要未来帧、深度图或训练期 LLM 标签。6、动作生成FAST 与 Flow Matching 各司其职论文中的低层输出并不是普通连续回归。π0.6 既训练离散 FAST 动作 token也包含连续 Flow Matching 动作专家。后者从噪声动作出发沿学习到的速度场积分得到动作块可抽象为d a τ d τ v θ ( a τ , c , τ ) , τ ∈ [ 0 , 1 ] \frac{d a^{\tau}}{d\tau}v_\theta(a^{\tau},c,\tau),\qquad \tau\in[0,1]dτdaτvθ(aτ,c,τ),τ∈[0,1]a τ a^{\tau}aτ是采样轨迹在去噪时间τ \tauτ的动作状态v θ v_\thetavθ是动作专家预测的速度场c cc汇集当前视觉、短期记忆、子任务和本体状态。这里的τ \tauτ是生成模型内部时间不能与机器人真实时间t tt混为一谈。论文没有公开 π0.6‑MEM 的积分步数、动作维度和H HH的具体 release 配置。7、实验结果记忆到底解决了什么7.1、长任务与记忆消融长任务评测包括食谱准备和厨房清理。每个策略在每个任务或食谱上运行 10 次报告均值与标准误。食谱准备按取出并放置的物品计分每个 episode 共 67 分厨房清理约 8 个子任务每完成一个加 1 分。论文在 42 种食谱上训练并在新厨房和新物体布置中评测 5 种食谱。图 6 的结论很明确只保留视频或只保留文本都不够。文本记忆擅长跨分钟记录进度视频记忆擅长理解刚刚发生的动作把历史语言直接拼接的朴素组合又受到训练—推理分布偏移影响。只有压缩语言记忆与视频记忆结合平均任务进度才明显领先。7.2、从失败中在上下文适应作者专门收集了策略失败后的人类纠正数据筷子任务改变了桌面高度冰箱任务隐藏了门轴方向。训练时把纠正前的失败尝试保留在短期记忆中模型就能在下一次尝试中调整抓取高度或开门方向。相对同数据训练的无记忆 π0.6MEM 的成功率分别提高11和62个百分点冰箱成功标准为不超过 4 次抓取。这说明短期记忆不仅用于看清遮挡还能承载刚才这种策略不行的隐式反馈。7.3、六类核心记忆能力图 8 覆盖换 3 个杯子、找物体、拆杂货、舀咖啡、烤奶酪和擦窗。它们分别考验部分可观测性、计数、视觉记忆和空间记忆。基线包括无记忆、平均池化图像记忆和仅本体状态记忆。无记忆策略在从四个抽屉找物体上随机概率仅 25%在是否再加一勺咖啡上为 50%不同单一记忆基线各有擅长项但只有 MEM 在六类任务上都保持较强表现。7.4、为什么记忆必须在预训练阶段出现完整模型在预训练阶段只看约 5 秒历史却能在后训练把窗口扩到 1 分钟左右。图 9 表明只在后训练临时加入视频编码器的模型明显更弱。这说明记忆不是一个可以在小数据上随手接入的插件多样化机器人和非机器人视频预训练让编码器先学会从跨帧信息中提取稳定线索。7.5、加入记忆会不会伤害普通操作能力作者还在收餐具、叠衬衫、清理台面、铺床、搬盘子、批量折叠和组装纸箱上比较 MEM 与无记忆 π0.6。两者整体接近MEM 在使用记忆的同时没有明显牺牲普通灵巧操作能力。这个结论只适用于论文内部的真机任务、数据和统计协议不能直接外推为跨硬件或公开 benchmark 的普遍优势。8、方法价值、局限与工程判断MEM 最有价值的地方不是简单把上下文窗口做长而是把机器人历史按信息带宽分层高频、几何化的近期历史留给视频编码器低频、语义化的长期状态交给语言摘要。这一设计同时兼顾实时性、任务跨度和失败恢复适合厨房整理、配方执行、仓储拣选等需要多步进度与局部纠错的任务。但离可复现、可长期部署仍有明显距离记忆只覆盖单个 episode。语言记忆由模型自回归更新可能累积事实错误论文没有系统研究纠错或外部验证机制。短期视频最多约 54 秒长期文本又会丢掉精细空间关系两种表示之间仍有信息空档。每个任务通常只有 10 次 rollout且数据、机器人平台和大部分评测协议未公开误差条之外的泛化证据有限。H100 上的编码延迟不能代表消费级 GPU、边缘计算设备或整机闭环延迟。代码、权重、数据、记忆标签生成流程和 checkpoint 配置均未发布当前无法独立复现实验。从工程角度看MEM 给出的最可迁移原则是不要用同一种表示保存所有历史。若要在现有 VLA 上实现类似系统可以先把长期任务状态做成可审计的结构化记忆再给低层视觉编码器增加有限窗口和缓存同时对记忆写入设置成功条件、置信度和回滚机制。这样做比无限扩展多模态上下文更容易控制延迟也更便于排查错误。 《VLA 系列》MEM | 多尺度具身记忆 | 15 分钟长任务 | 论文解析
机器人做十几分钟的家务真正难的往往不是某一次抓取而是同时记住两类完全不同的信息眼前几秒里夹爪是否被遮挡、门刚才往哪边开以及更早之前已经拿过哪些食材、还剩哪些步骤。把所有历史图像直接塞进 VLA计算量会迅速失控只把历史压成一句文本又会丢失几何细节。MEM 的答案是把记忆拆成两个尺度短期用稠密视频保留动作细节长期用语言摘要记录任务进度再由分层策略分别消费这两种记忆。核心结构高层 VLM 维护长期文本记忆并生成下一条子任务低层 VLA 使用短期视频记忆生成动作块。高效视频记忆在 ViT 中交替加入空间注意力与因果时间注意力上层只保留当前帧 token避免历史长度把 VLA 主干拖慢。训练方式预训练阶段就引入数秒历史后训练再扩展到 18 帧、约 54 秒长期记忆标签由离线 LLM 将子任务与成败信息压缩而成。主要结果模型可完成最长约 15 分钟的真机任务记忆使筷子抓取和冰箱开门的在上下文适应成功率分别提高 11 和 62 个百分点。开源状态论文与项目页已公开但训练代码、配置、权重和数据均未公开官方openpi只能作为 π0/π0.5 基座参考。论文arXiv:2603.03596项目主页Physical Intelligence — Memory官方基座仓库Physical-Intelligence/openpiMEM 源码与权重尚未公开图 1 先给出了整篇论文最重要的关系语言记忆负责已经做过什么视频记忆负责刚才具体发生了什么。两者不是重复记录而是在信息粒度和时间跨度上互补。1、问题定义机器人为什么需要两种记忆传统端到端策略通常把最近若干帧观测作为条件。这个做法能缓解瞬时遮挡却很难覆盖十几分钟的任务历史帧越多视觉 token 越多注意力成本和推理延迟都会上升大幅降采样又可能错过一次失败抓取、物体滑落或门的运动方向。另一方面任务进度本身并不需要逐帧保存。例如牛奶已经放上台面、还差黄油只需几个文本 token但它必须跨越很长时间。MEM 因而把记忆按用途拆开记忆类型时间范围表示主要解决的问题使用者短期视频记忆最长约 54 秒稠密视觉与本体状态遮挡、失败重试、物体运动、操作策略适应低层 VLA长期语言记忆单个 episode最长约 15 分钟压缩文本摘要步骤完成情况、物品位置、任务进度高层 VLMMEM 的历史信息只作为条件进入分层动作策略。测试时输入是当前/历史相机观测、历史本体状态、任务指令和已有语言记忆输出则是下一子任务与机器人动作。2、整体架构高层管进度低层管动作图 2 左侧是高层策略它读取当前图像、目标和上一轮语言记忆同时输出更新后的记忆与下一条语言子任务。右侧是低层策略它读取子任务、短期视频、当前观测和本体状态再由动作专家产生动作块。论文将联合策略近似分解为π ( a t : t H , l t 1 , m t 1 ∣ o t − T : t , m t , g ) ≈ π L L ( a t : t H ∣ o t − K : t , l t 1 , g ) π H L ( l t 1 , m t 1 ∣ o t , m t , g ) \pi(a_{t:tH}, l_{t1}, m_{t1}\mid o_{t-T:t},m_t,g) \approx \pi_{\mathrm{LL}}(a_{t:tH}\mid o_{t-K:t},l_{t1},g) \pi_{\mathrm{HL}}(l_{t1},m_{t1}\mid o_t,m_t,g)π(at:tH,lt1,mt1∣ot−T:t,mt,g)≈πLL(at:tH∣ot−K:t,lt1,g)πHL(lt1,mt1∣ot,mt,g)其中符号含义在模型中的作用g gg用户给出的任务目标约束整个 episodeo t − T : t o_{t-T:t}ot−T:t长时间范围内的观测历史表示理论上可用的完整历史o t − K : t o_{t-K:t}ot−K:t最近K KK帧观测且K ≪ T K\ll TK≪T构成低层短期视频记忆m t , m t 1 m_t,m_{t1}mt,mt1更新前、更新后的语言记忆压缩长期任务进度l t 1 l_{t1}lt1高层生成的下一子任务连接高层规划与低层控制a t : t H a_{t:tH}at:tH长度为H HH的动作块由低层策略执行这个分解带来一个清晰的工程边界高层不必逐帧处理长视频低层也不必从头推断整段任务进度。论文图中高低层分别绘制但没有明确说明二者是否共享全部权重或来自同一 checkpoint因此这一点应视为未确认。3、短期视频记忆把历史压在视觉编码器里3.1、空间—时间分离注意力直接把K KK帧、每帧n nn个 patch 合并做全局注意力复杂度近似为O ( n 2 K 2 ) O(n^2K^2)O(n2K2)MEM 先在每一帧内部做空间注意力再让同一空间位置跨时间做因果注意力复杂度变为O ( K n 2 n K 2 ) O(Kn^2nK^2)O(Kn2nK2)n nn是单帧空间 patch 数K KK是历史帧数。第一项对应逐帧空间注意力第二项对应同一 patch 位置的时间注意力。论文具体实现为每隔 4 个 ViT 层插入一次因果时间注意力其余层沿用空间注意力。图 4 的蓝色层表示时间注意力。关键不只是看更多帧而是历史 token 在视觉编码器内部完成融合到上层后过去时刻的观测 token 被丢弃只把当前时刻的表示送入 VLA 主干。这样主干接收的 token 数不会随历史长度同比增长。时间位置使用固定正弦编码并令当前时刻的位置编码e ( 0 ) 0 e(0)0e(0)0z ^ p , t l − 1 z p , t l − 1 e ( t ) , e ( 0 ) 0 \hat z_{p,t}^{l-1}z_{p,t}^{l-1}e(t),\qquad e(0)0z^p,tl−1zp,tl−1e(t),e(0)0z p , t l − 1 z_{p,t}^{l-1}zp,tl−1是第l − 1 l-1l−1层中空间位置p pp、时间t tt的 tokenz ^ \hat zz^是加入时间位置后的 tokene ( t ) e(t)e(t)表示相对时间。令e ( 0 ) 0 e(0)0e(0)0的直接好处是当K 1 K1K1时可以与原图像 ViT 完全一致地初始化而且视频编码器相对基础图像 ViT不新增可学习参数。3.2、延迟为何没有随帧数爆炸图 3 测量的是 π0.6 VLA 在单张 NVIDIA H100、四路相机输入下的视频编码推理时间。把所有观测直接送入主干的朴素方案在 16 帧时超过 3.5 秒而 MEM 视频编码器仍低于 300 ms。这里不能把图中数值当成完整机器人控制周期论文没有给出从相机采集、动作解码到机器人执行的端到端延迟拆分。4、长期语言记忆重点不是追加而是压缩简单做法是把历史子任务不断拼到上下文中但论文消融表明这种 Naive Text Video Memory 明显弱于 MEM。原因是训练演示通常接近最优同一子任务只出现一次真实推理时机器人却可能连续失败高层反复生成相同指令。直接追加会制造明显的训练—推理分布偏移。MEM 的长期记忆标签由离线流程产生先收集 episode 的子任务注释和成败标记再交给一个现成 LLM只保留之后仍有用的信息并删除过时内容。作者没有公开该 LLM 的名称、完整提示词或质量控制规则。训练目标可概括为输入当前图像、任务目标和上一轮记忆预测下一条子任务同时预测更新后的语言记忆对连续失败的尝试不盲目写入长期记忆通常等子任务成功后再更新完成状态。例如机器人执行准备烤奶酪三明治时长期记忆可写成面包和黄油已放到台面奶酪尚未取出短期视频则保留夹爪刚才从筷子上方滑过或冰箱门向左拉失败的具体过程。前者回答下一步做什么后者帮助低层改变下一次操作策略。5、训练流与推理流5.1、训练阶段图 5 展示了食谱准备、厨房清理和烤奶酪等长任务中的连续步骤。MEM 并不是只在小规模长任务数据上学习记忆而是把记忆机制带入更大的预训练混合数据。训练流可以归纳为四步预训练混合使用遥操作示范、策略 rollout、人类纠正以及图文和视频语言任务视频预训练输入 6 个观测即当前帧加 5 个历史帧时间间隔约 1 秒。低层动作学习π0.6 同时使用离散 FAST 动作 token 与连续 Flow Matching 动作专家。图中动作专家规模为 860MVLM 侧由 SigLIP 400M 视觉编码器和 Gemma 3 4B 语言模型初始化。知识隔离动作专家的梯度不回传到 VLM 主干避免连续动作学习破坏视觉语言知识。后训练扩窗把视频记忆扩展到 18 帧和约 54 秒并在目标长任务与纠正数据上适配。需要注意18 帧并不代表 18 个连续控制时刻而是覆盖约 54 秒的稀疏历史论文未给出所有任务统一的采样频率和动作块长度因此不能据此反推机器人控制频率。5.2、推理阶段一次高低层循环可理解为输入任务目标 g、当前图像 o_t、上一轮语言记忆 m_t → 高层生成下一子任务 l_{t1} 和新记忆 m_{t1} → 视频编码器压缩最近 K 帧图像与历史本体状态 → 低层 VLA 以 l_{t1} 为条件生成动作块 a_{t:tH} → 通过 RTC 异步执行动作块并继续接收新观测 → 到达高层更新点后重复上述过程当前图像以每路448 × 448 448\times448448×448分辨率输入最多四路相机历史本体状态经线性层投影成K KK个连续 state token而不是转成文本。真机执行可使用推理期 RTC 或训练期 RTC 来缓解动作块切换造成的停顿。测试时仍需历史视频和本体状态但不需要未来帧、深度图或训练期 LLM 标签。6、动作生成FAST 与 Flow Matching 各司其职论文中的低层输出并不是普通连续回归。π0.6 既训练离散 FAST 动作 token也包含连续 Flow Matching 动作专家。后者从噪声动作出发沿学习到的速度场积分得到动作块可抽象为d a τ d τ v θ ( a τ , c , τ ) , τ ∈ [ 0 , 1 ] \frac{d a^{\tau}}{d\tau}v_\theta(a^{\tau},c,\tau),\qquad \tau\in[0,1]dτdaτvθ(aτ,c,τ),τ∈[0,1]a τ a^{\tau}aτ是采样轨迹在去噪时间τ \tauτ的动作状态v θ v_\thetavθ是动作专家预测的速度场c cc汇集当前视觉、短期记忆、子任务和本体状态。这里的τ \tauτ是生成模型内部时间不能与机器人真实时间t tt混为一谈。论文没有公开 π0.6‑MEM 的积分步数、动作维度和H HH的具体 release 配置。7、实验结果记忆到底解决了什么7.1、长任务与记忆消融长任务评测包括食谱准备和厨房清理。每个策略在每个任务或食谱上运行 10 次报告均值与标准误。食谱准备按取出并放置的物品计分每个 episode 共 67 分厨房清理约 8 个子任务每完成一个加 1 分。论文在 42 种食谱上训练并在新厨房和新物体布置中评测 5 种食谱。图 6 的结论很明确只保留视频或只保留文本都不够。文本记忆擅长跨分钟记录进度视频记忆擅长理解刚刚发生的动作把历史语言直接拼接的朴素组合又受到训练—推理分布偏移影响。只有压缩语言记忆与视频记忆结合平均任务进度才明显领先。7.2、从失败中在上下文适应作者专门收集了策略失败后的人类纠正数据筷子任务改变了桌面高度冰箱任务隐藏了门轴方向。训练时把纠正前的失败尝试保留在短期记忆中模型就能在下一次尝试中调整抓取高度或开门方向。相对同数据训练的无记忆 π0.6MEM 的成功率分别提高11和62个百分点冰箱成功标准为不超过 4 次抓取。这说明短期记忆不仅用于看清遮挡还能承载刚才这种策略不行的隐式反馈。7.3、六类核心记忆能力图 8 覆盖换 3 个杯子、找物体、拆杂货、舀咖啡、烤奶酪和擦窗。它们分别考验部分可观测性、计数、视觉记忆和空间记忆。基线包括无记忆、平均池化图像记忆和仅本体状态记忆。无记忆策略在从四个抽屉找物体上随机概率仅 25%在是否再加一勺咖啡上为 50%不同单一记忆基线各有擅长项但只有 MEM 在六类任务上都保持较强表现。7.4、为什么记忆必须在预训练阶段出现完整模型在预训练阶段只看约 5 秒历史却能在后训练把窗口扩到 1 分钟左右。图 9 表明只在后训练临时加入视频编码器的模型明显更弱。这说明记忆不是一个可以在小数据上随手接入的插件多样化机器人和非机器人视频预训练让编码器先学会从跨帧信息中提取稳定线索。7.5、加入记忆会不会伤害普通操作能力作者还在收餐具、叠衬衫、清理台面、铺床、搬盘子、批量折叠和组装纸箱上比较 MEM 与无记忆 π0.6。两者整体接近MEM 在使用记忆的同时没有明显牺牲普通灵巧操作能力。这个结论只适用于论文内部的真机任务、数据和统计协议不能直接外推为跨硬件或公开 benchmark 的普遍优势。8、方法价值、局限与工程判断MEM 最有价值的地方不是简单把上下文窗口做长而是把机器人历史按信息带宽分层高频、几何化的近期历史留给视频编码器低频、语义化的长期状态交给语言摘要。这一设计同时兼顾实时性、任务跨度和失败恢复适合厨房整理、配方执行、仓储拣选等需要多步进度与局部纠错的任务。但离可复现、可长期部署仍有明显距离记忆只覆盖单个 episode。语言记忆由模型自回归更新可能累积事实错误论文没有系统研究纠错或外部验证机制。短期视频最多约 54 秒长期文本又会丢掉精细空间关系两种表示之间仍有信息空档。每个任务通常只有 10 次 rollout且数据、机器人平台和大部分评测协议未公开误差条之外的泛化证据有限。H100 上的编码延迟不能代表消费级 GPU、边缘计算设备或整机闭环延迟。代码、权重、数据、记忆标签生成流程和 checkpoint 配置均未发布当前无法独立复现实验。从工程角度看MEM 给出的最可迁移原则是不要用同一种表示保存所有历史。若要在现有 VLA 上实现类似系统可以先把长期任务状态做成可审计的结构化记忆再给低层视觉编码器增加有限窗口和缓存同时对记忆写入设置成功条件、置信度和回滚机制。这样做比无限扩展多模态上下文更容易控制延迟也更便于排查错误。