LeRobot机器人学习实战遥操作数据到策略落地【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot机器人学习团队的大部分时间耗在数据管线和硬件接线而不是算法本身。LeRobotHugging Face 的 PyTorch 机器人学习框架把录制演示、训练策略、评估部署三条链路装进一个库lerobot-record录数据lerobot-train训策略lerobot-eval做评估内置 ACT、pi0、GR00T 等策略网络并直接对接 SO-101 到 Unitree G1 等真机。装完怎么确认环境没问题三条命令验证。先看版本当前发布版为 0.6.2pyproject.toml要求 Python ≥ 3.12python -c import lerobot; print(lerobot.__version__) which lerobot-train lerobot-train --help第二条确认命令行工具在 PATH 里第三条确认参数体系可用。依赖按 extras 拆分按需装即可pip install -e .[training] # 训练 pip install -e .[core_scripts] # 机器人控制工作流一句话点评不必装全量。电机品牌、机器人型号的驱动都隔离在各自 extra 里少装少冲突。数据从哪来到哪去LeRobot v3.0 数据集分三层低维信号状态、动作、时间戳存 Parquet摄像头视频存 MP4 分片meta/下 JSON 存 schema、帧率和归一化统计。多个 episode 合并进同一个大文件episode 边界靠元数据定位。文件少而大初始化更快文件系统压力更小。训练时数据流只有一条from lerobot.datasets import LeRobotDataset ds LeRobotDataset(repo_id) sample ds[0] # 每帧是 {key: tensor} 字典meta/stats.json提供特征均值、标准差训练管线用它做归一化键重命名、归一化、设备搬运这些动作统一放在src/lerobot/processor/的处理器管线里完成。策略网络拿到的是标准化后的张量。硬件差异在管线之外被消化。用SO-101双臂跑一遍完整链路以双臂 SO-101 完成一个抓取任务为例。第一步录数据从臂采集演示主臂做遥操作数据流式编码并上传 Hublerobot-record \ --robot.typeso101_follower --robot.port/dev/ttyUSB0 \ --teleop.typeso101_leader --teleop.port/dev/ttyUSB1 \ --dataset.repo_idhf_user/demo --dataset.num_episodes50 \ --dataset.single_taskgrab the cube第二步训练--output_dir下自动落 checkpointlerobot-train --dataset.repo_idhf_user/demo --policy.typeact \ --batch_size8 --output_dir./checkpoints/act第三步评估lerobot-eval接仿真环境跑批量指标或把 checkpoint 回放到真机做定性检查。整条链路里你只改三个参数数据集 id、策略类型、输出目录。不同任务该挑哪个策略两个判断维度任务是否带语言指令你的显存预算。ACTTransformer 预测动作块action chunk一次输出连续多步动作无视觉语言模型。机械臂抓取、搬运的默认选择训练快、显存占用低。pi0 / pi0_fast视觉语言动作模型VLA用 VLM 做主干直接输出动作。pi0 跨任务泛化强但吃显存pi0_fast 是蒸馏版面向实时控制。Diffusion扩散策略逐步去噪生成动作动作分布多模态时更稳推理开销高于 ACT。TDMPC基于模型的强化学习不依赖演示靠交互和奖励学习适合奖励信号明确的探索性任务。SmolVLA轻量 VLA算力受限场景的折中。SARM把长时程任务拆成子任务分别学习多步流程任务更稳。所有策略实现继承同一个PreTrainedPolicy基类通过 工厂函数 按名字注册加载换策略基本等于换--policy.type和对应配置项。选错方向的三个信号单峰参数化的网络硬套多模态动作分布训练损失下降但真机成功率不涨通常是观测或动作空间定义错了加载耗时数秒、显存占大头而任务只需几秒动作。推理慢了先拆三个环节预处理、策略前向、后处理先定位大头。VLA 类策略的前向里视觉编码和语言 tokenizer 是固定成本降输入分辨率、减小动作块长度能直接降延迟。执行侧还有现成的异步推理架构src/lerobot/async_inference/ 把策略放到独立服务进程真机控制端只管通信与动作执行模型推理与执行时间重叠。训练侧同理torchrun --nproc-per-node8 $(which lerobot-train) --parallelism.dp_shard8 \ --accelerator.mixed_precisionbf16 ...数据并行分片配 bf16对大主干模型收益明显。报错先查这三处硬件lerobot-info看环境和依赖状态lerobot-find-port扫串口lerobot-find-cameras查摄像头。电机不动时先确认品牌驱动是否被隔离在对应 extra 里。数据读取确认数据集格式版本。旧格式需要迁移到 v3 才能走新版 APIdocs/source/lerobot-dataset-v3.mdx 有迁移说明。不收敛看 loss 曲线再用lerobot-dataset-viz可视化帧与动作对应关系最后检查meta/stats.json里各特征统计量异常值通常意味着归一化被极端帧带偏。下一步找一个公开 v3 数据集在本地跑通 ACT 训练与回放确认全链路再碰真机。用lerobot-info加lerobot-find-port确认硬件链路按 docs/source/ 中对应硬件文档接入你的机器人。仿真先行LIBERO、MetaWorld 等环境在 src/lerobot/envs/ 已注册先在仿真里把策略调对再上真机。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LeRobot机器人学习实战：遥操作数据到策略落地
LeRobot机器人学习实战遥操作数据到策略落地【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot机器人学习团队的大部分时间耗在数据管线和硬件接线而不是算法本身。LeRobotHugging Face 的 PyTorch 机器人学习框架把录制演示、训练策略、评估部署三条链路装进一个库lerobot-record录数据lerobot-train训策略lerobot-eval做评估内置 ACT、pi0、GR00T 等策略网络并直接对接 SO-101 到 Unitree G1 等真机。装完怎么确认环境没问题三条命令验证。先看版本当前发布版为 0.6.2pyproject.toml要求 Python ≥ 3.12python -c import lerobot; print(lerobot.__version__) which lerobot-train lerobot-train --help第二条确认命令行工具在 PATH 里第三条确认参数体系可用。依赖按 extras 拆分按需装即可pip install -e .[training] # 训练 pip install -e .[core_scripts] # 机器人控制工作流一句话点评不必装全量。电机品牌、机器人型号的驱动都隔离在各自 extra 里少装少冲突。数据从哪来到哪去LeRobot v3.0 数据集分三层低维信号状态、动作、时间戳存 Parquet摄像头视频存 MP4 分片meta/下 JSON 存 schema、帧率和归一化统计。多个 episode 合并进同一个大文件episode 边界靠元数据定位。文件少而大初始化更快文件系统压力更小。训练时数据流只有一条from lerobot.datasets import LeRobotDataset ds LeRobotDataset(repo_id) sample ds[0] # 每帧是 {key: tensor} 字典meta/stats.json提供特征均值、标准差训练管线用它做归一化键重命名、归一化、设备搬运这些动作统一放在src/lerobot/processor/的处理器管线里完成。策略网络拿到的是标准化后的张量。硬件差异在管线之外被消化。用SO-101双臂跑一遍完整链路以双臂 SO-101 完成一个抓取任务为例。第一步录数据从臂采集演示主臂做遥操作数据流式编码并上传 Hublerobot-record \ --robot.typeso101_follower --robot.port/dev/ttyUSB0 \ --teleop.typeso101_leader --teleop.port/dev/ttyUSB1 \ --dataset.repo_idhf_user/demo --dataset.num_episodes50 \ --dataset.single_taskgrab the cube第二步训练--output_dir下自动落 checkpointlerobot-train --dataset.repo_idhf_user/demo --policy.typeact \ --batch_size8 --output_dir./checkpoints/act第三步评估lerobot-eval接仿真环境跑批量指标或把 checkpoint 回放到真机做定性检查。整条链路里你只改三个参数数据集 id、策略类型、输出目录。不同任务该挑哪个策略两个判断维度任务是否带语言指令你的显存预算。ACTTransformer 预测动作块action chunk一次输出连续多步动作无视觉语言模型。机械臂抓取、搬运的默认选择训练快、显存占用低。pi0 / pi0_fast视觉语言动作模型VLA用 VLM 做主干直接输出动作。pi0 跨任务泛化强但吃显存pi0_fast 是蒸馏版面向实时控制。Diffusion扩散策略逐步去噪生成动作动作分布多模态时更稳推理开销高于 ACT。TDMPC基于模型的强化学习不依赖演示靠交互和奖励学习适合奖励信号明确的探索性任务。SmolVLA轻量 VLA算力受限场景的折中。SARM把长时程任务拆成子任务分别学习多步流程任务更稳。所有策略实现继承同一个PreTrainedPolicy基类通过 工厂函数 按名字注册加载换策略基本等于换--policy.type和对应配置项。选错方向的三个信号单峰参数化的网络硬套多模态动作分布训练损失下降但真机成功率不涨通常是观测或动作空间定义错了加载耗时数秒、显存占大头而任务只需几秒动作。推理慢了先拆三个环节预处理、策略前向、后处理先定位大头。VLA 类策略的前向里视觉编码和语言 tokenizer 是固定成本降输入分辨率、减小动作块长度能直接降延迟。执行侧还有现成的异步推理架构src/lerobot/async_inference/ 把策略放到独立服务进程真机控制端只管通信与动作执行模型推理与执行时间重叠。训练侧同理torchrun --nproc-per-node8 $(which lerobot-train) --parallelism.dp_shard8 \ --accelerator.mixed_precisionbf16 ...数据并行分片配 bf16对大主干模型收益明显。报错先查这三处硬件lerobot-info看环境和依赖状态lerobot-find-port扫串口lerobot-find-cameras查摄像头。电机不动时先确认品牌驱动是否被隔离在对应 extra 里。数据读取确认数据集格式版本。旧格式需要迁移到 v3 才能走新版 APIdocs/source/lerobot-dataset-v3.mdx 有迁移说明。不收敛看 loss 曲线再用lerobot-dataset-viz可视化帧与动作对应关系最后检查meta/stats.json里各特征统计量异常值通常意味着归一化被极端帧带偏。下一步找一个公开 v3 数据集在本地跑通 ACT 训练与回放确认全链路再碰真机。用lerobot-info加lerobot-find-port确认硬件链路按 docs/source/ 中对应硬件文档接入你的机器人。仿真先行LIBERO、MetaWorld 等环境在 src/lerobot/envs/ 已注册先在仿真里把策略调对再上真机。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考