LeRobot 机器人学习框架入门指南3 步从仿真走到真机【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot如果你打算用 PyTorch 做机器人学习LeRobot 是一个值得放进工具箱的开源机器人学习框架。它把数据集、策略模型和硬件驱动打包在同一套接口里让你不用为算法一套代码、硬件另写一套代码而头疼。本文带你走通安装、能力版图、实战训练和选型判断这几条主线。换一台机器人难道要重写一遍控制代码先聊聊你可能踩过的坑手里有两三台不同品牌的机械臂每台串口协议、关节命名都不一样采集回来的数据一半是 bag 文件、一半是 CSV训练时还要逐个写解析脚本好不容易调好的模仿学习策略换个平台就得重新对齐观测空间。这些重复劳动才是真正拖慢你进度的地方。LeRobot 的思路是把这三件事收进统一的抽象里Robot类屏蔽硬件差异LeRobotDataset统一数据格式Policy类固定输入输出接口。你换设备时只改配置不动训练代码换数据集时只改 repo id不动采样逻辑。对新手来说这意味着你可以先在一个低成本机械臂上跑通全流程再平滑迁移到自己的平台。⚡ 5 分钟装好并验证 LeRobot环境要求不高Python 3.12 及以上PyTorch 2.10 及以上训练阶段建议有 CUDA GPU纯 CPU 也能跑通数据加载和推理。系统上 Ubuntu 22.04、macOS 12 都可以。官方推荐用 uv 管理依赖也可以 conda/venv见 docs/source/installation.mdxgit clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot uv sync --all-extras python -c import lerobot; print(lerobot.__version__)装完后运行lerobot-info它能打印当前环境、GPU 状态和可用硬件是排障时的第一站。如果只想快速试用而不改源码pip install lerobot也可以直接从 PyPI 安装。 能力版图数据、算法策略、硬件三条线数据线。LeRobotDataset V3 格式用 Parquet 存状态与动作、MP4 存图像天然支持流式加载。删片段、按比例拆分、合并多个数据集都有现成 CLI 工具入口在 src/lerobot/datasets/。算法策略线。src/lerobot/policies/ 下实现了 ACT、Diffusion、VQ-BeT 等模仿学习策略TDMPC、HIL-SERL 等强化学习策略RL 训练循环在 src/lerobot/rl/以及 Pi0、SmolVLA、GR00T N1.7 等视觉语言动作VLA模型全部是纯 PyTorch 实现。硬件线。src/lerobot/robots/ 内置了 SO-100、LeKiwi、Reachy2、OpenArm 等机型驱动src/lerobot/motors/ 提供 Dynamixel、Feetech 等舵机总线封装src/lerobot/cameras/ 覆盖 OpenCV、RealSense、ZMQ 视频源。模块速查表目录负责什么你什么时候会打开它src/lerobot/datasets/数据集读写、统计量、流式加载采完数据要检查、切分、合并时src/lerobot/policies/各策略的模型与配置定义换算法、调网络结构超参时src/lerobot/robots/机器人连接、观测读取、动作下发接入新硬件或排查通信问题时src/lerobot/processor/观测归一化、动作反变换等流水线输入输出对不上、尺度异常时src/lerobot/scripts/record/train/eval 等 CLI 入口日常命令行操作 以机械臂任务为例采集 → 训练 → 评估走一遍以常见的 SO-100 双臂/单臂操作任务为例参考 examples/so100_to_so100_EE/record.py 这类现成脚本。第一步采集数据。用lerobot-record配上遥操作设备键盘、手机或主臂都行把演示存成标准格式。每段轨迹自动带上时间戳对齐的图像帧和关节状态你不需要自己写落盘逻辑。第二步训练策略。训练一条命令就能起配置全部走命令行参数例如在 examples/training/train_policy.py 的基础上跑lerobot-train \ --policy.typeact \ --dataset.repo_id你的数据集repo_id想自己写训练循环也可以官方示例把配置类、数据集统计量、delta 时间戳这些关键步骤都写清楚了。第三步部署评估。先在真机回放看手感再用统一评估脚本跑定量指标lerobot-eval \ --policy.pathcheckpoint路径 \ --env.typelibero \ --eval.n_episodes10下面是该框架控制多种机器人硬件的实际演示效果算法怎么选不踩坑选择策略时先看你的任务类型和数据量再看算力预算策略适用任务数据需求说明ACT复杂多关节操作大量演示模仿学习主力动作块式生成Diffusion精细轨迹控制大量演示扩散模型适合平滑长时程动作TDMPC需要在线探索的任务交互数据基于模型 RL可在线更新HIL-SERL人类在环强化学习少量演示 交互演示与 RL 混合收敛更稳Pi0 / SmolVLA跨任务泛化、VLA大规模多模态数据视觉语言动作模型需较强 GPU硬件匹配上给三条经验机械臂高频控制优先 ACT 或 Pi0 系列这类低延迟策略推理耗时直接影响任务成功率。移动机器人/导航数据量够大时上 Diffusion 或 VLA 类感知与决策一体。探索性任务环境交互成本低才选 TDMPC 这类 RL 路线纯离线数据喂不动。 高频问题 FAQ依赖冲突装不上怎么办回到干净环境用uv sync --all-extras重装若 WSL 用户报 evdev 相关错误按安装文档单独装一下 evdev。机器人连不上、串口找不到先运行 src/lerobot/scripts/lerobot_find_port.py 列出可用串口再用舵机配置脚本重连线缆和波特率是两个最高频的元凶。训练很慢或显存不够减小 batch size、缩短观测窗口delta 时间戳里的帧数或换参数量更小的策略docs/source/hardware_guide.mdx 里列了各策略的 GPU 需求参考。推理时机器人动作抖动检查 src/lerobot/processor/ 里的归一化统计量是否和训练时一致再看遥操作回放的帧率是否与录制时一致。 学完本文之后去哪安装与硬件接入细节docs/source/installation.mdx可运行示例examples/ 目录覆盖数据集、遥操作、训练各条线正确性参考tests/ 下的单测看核心 API 的标准用法自写策略指南docs/source/bring_your_own_policies.mdx贡献流程与代码规范CONTRIBUTING.md各硬件与策略的专题文档docs/source/ 按机型和算法分篇【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LeRobot 机器人学习框架入门指南：3 步从仿真走到真机
LeRobot 机器人学习框架入门指南3 步从仿真走到真机【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot如果你打算用 PyTorch 做机器人学习LeRobot 是一个值得放进工具箱的开源机器人学习框架。它把数据集、策略模型和硬件驱动打包在同一套接口里让你不用为算法一套代码、硬件另写一套代码而头疼。本文带你走通安装、能力版图、实战训练和选型判断这几条主线。换一台机器人难道要重写一遍控制代码先聊聊你可能踩过的坑手里有两三台不同品牌的机械臂每台串口协议、关节命名都不一样采集回来的数据一半是 bag 文件、一半是 CSV训练时还要逐个写解析脚本好不容易调好的模仿学习策略换个平台就得重新对齐观测空间。这些重复劳动才是真正拖慢你进度的地方。LeRobot 的思路是把这三件事收进统一的抽象里Robot类屏蔽硬件差异LeRobotDataset统一数据格式Policy类固定输入输出接口。你换设备时只改配置不动训练代码换数据集时只改 repo id不动采样逻辑。对新手来说这意味着你可以先在一个低成本机械臂上跑通全流程再平滑迁移到自己的平台。⚡ 5 分钟装好并验证 LeRobot环境要求不高Python 3.12 及以上PyTorch 2.10 及以上训练阶段建议有 CUDA GPU纯 CPU 也能跑通数据加载和推理。系统上 Ubuntu 22.04、macOS 12 都可以。官方推荐用 uv 管理依赖也可以 conda/venv见 docs/source/installation.mdxgit clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot uv sync --all-extras python -c import lerobot; print(lerobot.__version__)装完后运行lerobot-info它能打印当前环境、GPU 状态和可用硬件是排障时的第一站。如果只想快速试用而不改源码pip install lerobot也可以直接从 PyPI 安装。 能力版图数据、算法策略、硬件三条线数据线。LeRobotDataset V3 格式用 Parquet 存状态与动作、MP4 存图像天然支持流式加载。删片段、按比例拆分、合并多个数据集都有现成 CLI 工具入口在 src/lerobot/datasets/。算法策略线。src/lerobot/policies/ 下实现了 ACT、Diffusion、VQ-BeT 等模仿学习策略TDMPC、HIL-SERL 等强化学习策略RL 训练循环在 src/lerobot/rl/以及 Pi0、SmolVLA、GR00T N1.7 等视觉语言动作VLA模型全部是纯 PyTorch 实现。硬件线。src/lerobot/robots/ 内置了 SO-100、LeKiwi、Reachy2、OpenArm 等机型驱动src/lerobot/motors/ 提供 Dynamixel、Feetech 等舵机总线封装src/lerobot/cameras/ 覆盖 OpenCV、RealSense、ZMQ 视频源。模块速查表目录负责什么你什么时候会打开它src/lerobot/datasets/数据集读写、统计量、流式加载采完数据要检查、切分、合并时src/lerobot/policies/各策略的模型与配置定义换算法、调网络结构超参时src/lerobot/robots/机器人连接、观测读取、动作下发接入新硬件或排查通信问题时src/lerobot/processor/观测归一化、动作反变换等流水线输入输出对不上、尺度异常时src/lerobot/scripts/record/train/eval 等 CLI 入口日常命令行操作 以机械臂任务为例采集 → 训练 → 评估走一遍以常见的 SO-100 双臂/单臂操作任务为例参考 examples/so100_to_so100_EE/record.py 这类现成脚本。第一步采集数据。用lerobot-record配上遥操作设备键盘、手机或主臂都行把演示存成标准格式。每段轨迹自动带上时间戳对齐的图像帧和关节状态你不需要自己写落盘逻辑。第二步训练策略。训练一条命令就能起配置全部走命令行参数例如在 examples/training/train_policy.py 的基础上跑lerobot-train \ --policy.typeact \ --dataset.repo_id你的数据集repo_id想自己写训练循环也可以官方示例把配置类、数据集统计量、delta 时间戳这些关键步骤都写清楚了。第三步部署评估。先在真机回放看手感再用统一评估脚本跑定量指标lerobot-eval \ --policy.pathcheckpoint路径 \ --env.typelibero \ --eval.n_episodes10下面是该框架控制多种机器人硬件的实际演示效果算法怎么选不踩坑选择策略时先看你的任务类型和数据量再看算力预算策略适用任务数据需求说明ACT复杂多关节操作大量演示模仿学习主力动作块式生成Diffusion精细轨迹控制大量演示扩散模型适合平滑长时程动作TDMPC需要在线探索的任务交互数据基于模型 RL可在线更新HIL-SERL人类在环强化学习少量演示 交互演示与 RL 混合收敛更稳Pi0 / SmolVLA跨任务泛化、VLA大规模多模态数据视觉语言动作模型需较强 GPU硬件匹配上给三条经验机械臂高频控制优先 ACT 或 Pi0 系列这类低延迟策略推理耗时直接影响任务成功率。移动机器人/导航数据量够大时上 Diffusion 或 VLA 类感知与决策一体。探索性任务环境交互成本低才选 TDMPC 这类 RL 路线纯离线数据喂不动。 高频问题 FAQ依赖冲突装不上怎么办回到干净环境用uv sync --all-extras重装若 WSL 用户报 evdev 相关错误按安装文档单独装一下 evdev。机器人连不上、串口找不到先运行 src/lerobot/scripts/lerobot_find_port.py 列出可用串口再用舵机配置脚本重连线缆和波特率是两个最高频的元凶。训练很慢或显存不够减小 batch size、缩短观测窗口delta 时间戳里的帧数或换参数量更小的策略docs/source/hardware_guide.mdx 里列了各策略的 GPU 需求参考。推理时机器人动作抖动检查 src/lerobot/processor/ 里的归一化统计量是否和训练时一致再看遥操作回放的帧率是否与录制时一致。 学完本文之后去哪安装与硬件接入细节docs/source/installation.mdx可运行示例examples/ 目录覆盖数据集、遥操作、训练各条线正确性参考tests/ 下的单测看核心 API 的标准用法自写策略指南docs/source/bring_your_own_policies.mdx贡献流程与代码规范CONTRIBUTING.md各硬件与策略的专题文档docs/source/ 按机型和算法分篇【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考