1. 为什么单目+IMU是SLAM落地最值得啃的组合

单目相机便宜、功耗低、结构简单，但纯单目SLAM有两个绕不开的硬伤：尺度不确定和快速运动易丢跟踪。前者导致你拿到的轨迹是个“相对形状”，没有真实米制单位；后者在手持快速转身、机器人急停急转时几乎必然发生。IMU的加入恰好补上这两块短板——加速度计提供尺度观测，陀螺仪提供高频角速度，让系统在图像模糊、纹理缺失的短暂窗口里依然能维持位姿推算。

ORB-SLAM3是少数把单目+IMU紧耦合做到工程可用的开源系统之一。它不像VINS-Mono那样纯优化滑窗，也不像OKVIS那样偏学术，而是在ORB-SLAM2成熟的ORB特征前端基础上，加了一套IMU预积分和视觉惯性联合优化。实测下来，在室内手持慢走场景，单目+IMU的轨迹精度能比纯单目提升一个数量级，尺度误差从“完全不可用”压到5%以内。

这套流程适合谁？如果你已经跑通过ORB-SLAM2纯视觉，想进阶到视觉惯性里程计；或者你在做无人机、地面机器人、AR眼镜的原型验证，需要一套不依赖深度相机、不依赖激光雷达的低成本定位方案，那这篇内容就是为你写的。我会从数据加载一路讲到位姿优化，把每个环节的坑和参数逻辑都摊开说。

2. 系统整体设计与数据流拆解

2.1 单目+IMU紧耦合的核心思路

ORB-SLAM3的单目+IMU模式，本质是一个滑动窗口视觉惯性BA。系统维护一个包含关键帧和IMU状态的局部窗口，窗口内同时优化相机位姿、速度、陀螺仪偏置、加速度计偏置，以及地图点坐标。IMU预积分负责把两帧图像之间的高频测量压缩成一个相对约束，避免在优化里反复积分。

为什么用紧耦合而不是松耦合？松耦合把视觉位姿和IMU积分结果当成两个独立测量做融合，实现简单但精度上限低。紧耦合让IMU误差和视觉重投影误差在同一个代价函数里联合优化，IMU偏置可以被视觉观测修正，视觉尺度可以被IMU加速度观测约束。代价是代码复杂、初始化敏感，但精度和鲁棒性明显更好。

2.2 数据加载的三种典型来源

实际项目中，数据加载通常有三种来源，每种的处理方式不同：

• 公开数据集：EuRoC MAV、TUM VI、ETH Zurich的V1/V2。这些数据已经时间同步、标定好，直接按格式读入即可。EuRoC是双目+IMU，但ORB-SLAM3支持只取左目+IMU跑单目模式。
• 自采数据：用ZED单目相机、RealSense D435的IMU、或者独立IMU模块采集。这种最麻烦，需要自己做时间对齐和标定。
• 仿真数据：CarSim、Gazebo里配置IMU传感器输出。仿真数据干净但存在理想化偏差，适合验证算法逻辑，不适合评估真实精度。

2.3 时间同步：整个流程最容易被低估的环节

IMU频率通常100-1000Hz，相机15-30Hz，两者时间戳必须对齐到同一时基。ORB-SLAM3内部假设IMU和图像时间戳已经同步，它不会帮你做时间对齐。如果时间戳有偏移，初始化阶段的重力对齐会直接失败，表现为“一直初始化不成功”或“尺度跳变”。

我踩过的坑：用ROS bag录数据时，相机和IMU分别发布在不同topic，录包时没有统一时钟，回放时时间戳差了20ms，结果ORB-SLAM3初始化十次失败九次。后来用rosbag record时加--clock，并在回放时用use_sim_time统一，问题才解决。

3. 核心细节解析与实操要点

3.1 标定参数：内参、外参、IMU噪声模型

ORB-SLAM3的配置文件EuRoC.yaml或TUM_VI.yaml里，以下几组参数必须准确：

相机内参：Camera.fx, fy, cx, cy，以及畸变系数k1, k2, p1, p2。单目模式还要设Camera.bf为0或忽略。内参不准会导致重投影误差系统性偏大，地图点飘。

IMU外参：IMU.T_b_c1，即IMU到相机的变换矩阵。这个矩阵的旋转部分如果错了，重力方向估计会歪，尺度直接崩。平移部分影响较小，但也不能随便填。

IMU噪声参数：IMU.NoiseGyro, NoiseAcc, GyroWalk, AccWalk。这四个值决定预积分协方差，进而影响优化权重。用 Allan 方差标定出来的值最靠谱，但很多人直接抄数据集的默认值。如果你用的是不同型号IMU，抄默认值会导致优化时IMU约束权重不对，轨迹要么过平滑要么抖动。

注意：ORB-SLAM3的IMU噪声参数单位是连续时间噪声密度，不是离散方差。Allan方差工具输出的是离散值，需要除以采样频率的平方根才能用。这个换算我见过至少三个人搞错。

3.2 初始化：视觉惯性对齐的触发条件

单目+IMU初始化分两步：先纯视觉跑一段，估计出初始地图和相机轨迹；然后利用这段轨迹和IMU测量做视觉惯性对齐，求解尺度、重力方向、速度、偏置。

触发初始化的条件在代码里是：至少有两帧关键帧，且IMU预积分窗口内有足够的激励。所谓“足够激励”，通俗说就是相机不能一直匀速直线运动，得有旋转或加减速，否则重力方向不可观测。

实操中，启动后建议手持设备做“8字晃动”或前后左右小幅移动，持续2-3秒。如果一直站着不动，初始化会卡住。EuRoC数据集里无人机起飞阶段天然有激励，所以跑起来很顺；自采数据如果从静止开始，大概率要等很久。

3.3 位姿优化的代价函数构成

ORB-SLAM3的局部BA代价函数包含三部分：

1. 视觉重投影误差：地图点在当前帧的投影与匹配ORB特征点的像素距离。
2. IMU预积分误差：相邻关键帧之间的预积分残差，包含旋转、速度、平移三项。
3. 边缘化先验：被移出窗口的状态以先验形式保留约束。

优化用g2o求解，Levenberg-Marquardt迭代。IMU预积分残差的协方差矩阵由噪声参数和积分时间决定，积分时间越长，协方差越大，权重越低。这就是为什么慢速运动时IMU约束会变弱，系统更依赖视觉。

3.4 关键帧选取与地图管理

单目+IMU模式下，关键帧选取比纯视觉更保守。因为IMU约束需要时间间隔足够长才能有效观测偏置，关键帧太密反而让预积分区间太短，偏置不可观测。ORB-SLAM3默认在以下条件之一满足时插入关键帧：

• 距离上一关键帧超过一定帧数（默认约0.5秒）
• 跟踪到的地图点少于阈值
• 相机运动超过一定角度或距离

地图点管理沿用ORB-SLAM2的策略：局部地图跟踪、共视关系、剔除坏点。但IMU模式下，地图点的尺度由IMU约束，所以远距离点的深度估计更稳。

4. 实操过程与核心环节实现

4.1 环境搭建与依赖安装

我用的环境是Ubuntu 20.04 + ROS Noetic + OpenCV 4.5.5 + Eigen 3.3.9 + g2o（ORB-SLAM3自带修改版）。Pangolin用0.6版本，太新或太旧都可能编译报错。

编译步骤：

cd ORB_SLAM3 chmod +x build.sh ./build.sh

如果报错usleep未定义，在include/System.h里加#include <unistd.h>。如果Pangolin报GLint相关错误，检查OpenGL头文件路径。这些是常见编译坑，跟系统版本强相关。

4.2 配置文件逐项解读

以EuRoC单目+IMU为例，关键配置项：

Camera.type: "PinHole" Camera.fx: 458.654 Camera.fy: 457.296 Camera.cx: 367.215 Camera.cy: 248.375 Camera.k1: -0.28340811 Camera.k2: 0.07395907 Camera.p1: 0.00019359 Camera.p2: 1.76187114e-05 Camera.fps: 20 Camera.RGB: 1 IMU.NoiseGyro: 1.7e-4 IMU.NoiseAcc: 2.0e-3 IMU.GyroWalk: 1.9e-5 IMU.AccWalk: 3.0e-3 IMU.Frequency: 200 IMU.T_b_c1: !!opencv-matrix rows: 4 cols: 4 dt: f data: [0.0148655429818, -0.999880929698, 0.00414029679422, -0.0216401454975, 0.999557249008, 0.0149672133247, 0.025715529948, -0.064676986768, -0.0257744366974, 0.00375618835797, 0.999660727178, 0.00981073058949, 0.0, 0.0, 0.0, 1.0]

IMU.T_b_c1是IMU到相机的变换，注意方向：ORB-SLAM3要求的是从IMU坐标系到相机坐标系的变换。如果你标定出来的是相机到IMU，记得求逆。

4.3 运行与初始化观察

运行命令：

./Examples/Monocular-Inertial/mono_inertial_euroc \ ./Vocabulary/ORBvoc.txt \ ./Examples/Monocular-Inertial/EuRoC.yaml \ /path/to/EuRoC/MH_01_easy \ ./Examples/Monocular-Inertial/EuRoC_TimeStamps/MH01.txt

启动后Pangolin窗口会显示当前帧、地图点、轨迹。初始化成功时，轨迹会从“飘忽的曲线”突然变成“贴合真实路径的折线”，同时尺度被锁定。如果超过10秒还没初始化成功，检查IMU时间戳是否单调递增、外参旋转是否合理、激励是否足够。

4.4 位姿输出与评估

ORB-SLAM3会输出KeyFrameTrajectory.txt和FrameTrajectory.txt，格式是timestamp tx ty tz qx qy qz qw。用evo工具评估：

evo_ape euroc groundtruth.txt KeyFrameTrajectory.txt -va --plot

如果APE的RMSE在0.1m以内，说明流程基本正确。如果尺度明显偏大或偏小，优先检查IMU噪声参数和外参。

5. 常见问题与排查技巧实录

5.1 初始化失败：症状、原因、解决

5.2 跟踪丢失：从日志定位问题

ORB-SLAM3的日志会打印“Track lost”或“Fail to track local map”。如果是快速旋转导致，检查IMU频率是否足够（建议200Hz以上）；如果是纹理缺失，考虑降低ORB特征点阈值或增加关键帧密度。

我遇到过一次跟踪丢失，日志显示IMU预积分残差突然增大。后来发现是IMU数据里有几帧时间戳重复，导致预积分区间异常。用awk去重后解决。

5.3 尺度漂移：IMU偏置估计不准

单目+IMU的尺度由加速度计观测重力分量决定。如果加速度计偏置估计不准，尺度会缓慢漂移。表现是轨迹整体缩放，但形状正确。解决办法：确保初始化阶段有充分的旋转激励，让偏置可观测；如果仍漂移，手动调小IMU.AccWalk，让优化更信任加速度计观测。

5.4 与纯单目模式的对比实测

同一段EuRoC MH_01数据，纯单目跑出来的轨迹尺度是任意的，APE需要先做Sim3对齐；单目+IMU跑出来直接是米制，APE用SE3对齐即可。RMSE从纯单目的0.15m降到0.06m左右。代价是初始化时间从1秒变成3-5秒，且对运动激励有要求。

6. 进阶调优与扩展方向

6.1 噪声参数在线估计

ORB-SLAM3不支持IMU噪声参数在线估计，但你可以通过多次运行、观察残差分布来手动微调。如果残差整体偏大，说明噪声参数设小了，优化过度信任IMU；反之则过度信任视觉。经验值：先按Allan方差设，然后根据轨迹平滑度微调10%-20%。

6.2 与激光雷达或轮式里程计融合

单目+IMU在长距离走廊或大场景仍会累积漂移。如果平台上有轮式里程计，可以把轮速作为额外约束加入优化；如果有激光雷达，可以用激光里程计做全局校正。ORB-SLAM3本身不支持这些，但它的地图点和关键帧可以导出，用外部工具做融合。

6.3 单目深度估计的辅助

最近单目深度估计网络（如MiDaS、Depth Anything）很火，有人尝试用深度图给ORB-SLAM3提供初始深度先验，加速初始化并提升远点精度。思路可行，但深度网络的尺度不确定，需要和IMU尺度对齐。目前还处于实验阶段，工程落地需谨慎。

6.4 仿真环境下的验证

CarSim里配置IMU传感器时，注意输出频率和噪声模型要与真实IMU一致。Gazebo的IMU插件默认无噪声，直接跑ORB-SLAM3会因为“过于理想”导致优化协方差矩阵奇异。建议手动加高斯噪声，噪声密度参考真实器件手册。

7. 我个人在实际操作中的几点体会

第一，时间同步比标定更致命。标定参数差10%，轨迹精度可能差20%；但时间戳差10ms，系统直接不工作。录数据时一定用统一时钟源，ROS下用--clock和use_sim_time是基本操作。

第二，初始化阶段别偷懒。很多人跑数据集一次成功，就以为自采数据也能一次成功。自采数据从静止开始、手持晃动不充分、IMU预热不够，都会导致初始化失败。我的习惯是启动后先让设备“热身”5秒，做几个明显的旋转和加减速，再开始正式记录。

第三，噪声参数不要抄。不同IMU的噪声特性差异巨大，抄数据集的参数短期能跑，长期一定出问题。花半天时间用Allan方差标定，后面省几天调试时间。

第四，evo评估要看对齐方式。单目+IMU输出的是米制轨迹，用SE3对齐；纯单目用Sim3对齐。如果对齐方式选错，RMSE会虚高，让你误以为算法有问题。

这套流程我前后跑了十几遍，从EuRoC到自采数据，从室内到室外，每次出问题几乎都能归到上面几类。把时间同步、标定、初始化激励这三件事做扎实，ORB-SLAM3单目+IMU的稳定性远超预期。后续如果要做产品化，重点放在异常恢复和长期漂移抑制上，那是另一个话题了。