会议MICCAI年份2025英文题目Keypoint Matching for Instrument-Free 3D Registration in Video-based Surgical Navigation中文可译为面向视频手术导航无器械三维配准的关键点匹配方法一、摘要传统的 Video-Based Surgical NavigationVBSN在 ACL 等关节镜手术中需要首先把术前 CT/MRI 建立的三维骨模型与术中的真实患者解剖结构进行配准。传统流程一般是术前CT/MRI→3D骨模型术中 Touch Probe→逐点触碰骨表面→3DPointCloud然后 Point Cloud↔Preoperative Model完成三维配准。问题在于探针逐点采集比较慢关节内部空间狭小有些区域探针难以接触直接触碰软骨、组织可能造成医源性损伤。因此作者提出能不能完全不用探针而只通过关节镜拍摄的视频自动恢复三维骨表面问题随之变成一个计算机视觉问题 Framei​↔Framej​寻找对应关键点 pi​↔pj​然后根据相机位姿进行 Triangulation​得到三维点。但关节镜中的骨、软骨通常纹理非常少同时还有强反光液体浮动组织镜头畸变视角变化所以传统 SIFT 很难得到足够多、足够稳定的匹配。本文系统比较了传统和学习式特征匹配方法最终发现DKM在这种低纹理关节镜环境中能够产生足够高质量的三维重建使得无需触碰式探针的 3D 配准成为可能。二、创新点1 首次系统验证关节镜视频能否实现无探针 3D 配准传统关节镜Touch Probe​本文 关节镜视频WM​直接 Video→Keypoint Matching→Triangulation→3DReconstruction去掉术中用于采点的 probe。因此临床价值是更快更少接触更容易覆盖难以触及区域​2 系统比较六种关键点/特征匹配方法论文并不是只拿一个网络跑实验而是系统比较SIFT NNDISK NNSuperPoint LightGlueLoFTRRoMaDKM覆盖传统Sparse→LearnedSparse→Semi-Sparse→Dense Matching从而分析什么类型的视觉匹配方法适合低纹理的关节镜环境。3 加入语义分割过滤非刚性组织关节镜画面不仅包含骨和软骨还可能出现韧带其他软组织游离组织。但是术前三维模型主要包含 BoneCartilage​如果把韧带等区域上的匹配点也拿去做配准会产生大量 outliers。作者因此训练 U-Net Arthroscopic Image→Bone/Cartilage Mask只保留骨和软骨上的匹配点。实验表明 没有Semantic Segmentation时3D配准很难稳定成功​因为离群点比例过高。三、方法用于评估不同特征匹配方法的3D重建与配准流程在关节镜视频序列中选择成对的帧并通过跟踪WMWorld Marker世界坐标系确定其相对姿态。随后进行三角测量将重建点表示为WM坐标系下的位置。最后一步是3D配准利用增强现实技术将术前网格模型叠加到患者的解剖结构上。3.1 World Marker世界坐标系1.World Marker建立统一坐标系首先在股骨上固定一个WM 是系统的世界坐标系。通过关节镜识别 WM可以获得每一帧的相机位姿因此两个视频帧之间的相对相机运动是已知的。这非常重要因为本文实际上不是做 完全未知Camera Pose的SLAM而是 Camera Pose已知Feature Matching→3DReconstruction​所以三维重建难度被明显降低。WM 可以提供亚毫米级跟踪精度。2.图像对选择不能随便选两个视频帧。如果两个帧太近Baseline→0三角测量深度误差会很大。如果距离太远 Baseline↑又会出现很大的viewpoint changeappearance change导致匹配失败。因此作者选择 1−5mm​baseline 的图像对。每个关节镜视频选择150 pairs​同时利用相机位姿构建图结构对帧进行聚类使最终选择的图像对覆盖不同位置和视角。3.Feature Matching对于两个图像使用六种算法分别寻找其中传统 SIFT 属于 Detect→Describe→Match而 LoFTR、DKM、RoMa 这类学习式方法可以在低纹理环境中获得更加密集的对应关系。尤其 DKM​是 Dense Kernelized Feature Matching。它最终成为本文表现最好的方法之一。4.Epipolar Geometry 过滤错误匹配由于相机运动已知所以两个视图之间的 Epipolar Geometry​也是已知的。正确匹配应该满足极线约束。作者设置 Epipolar Error5 pixels​超出这个范围的 correspondence→discard因此可以删除大量错误匹配。5.Semantic Segmentation作者还训练标准 U-Net​输入关节镜图像I输出BoneCartilage Mask​损失采用 Dice。之后 Keypoint∩Bone/Cartilage才保留。而 Keypoint∩Soft Tissue被删除。这里的目的不是研究一个新的分割算法而是给三维重建提供 Region-of-interest constraint​6.Triangulation有两个 frame 中匹配点两个 frame 的 camera poseCamera calibration之后就可以使用标准三角测量得到所以 2D Correspondences→3D Points所有 3D 点又可以通过 WM 转换到同一个世界坐标系​于是来自不同图像对的点可以累积形成一个较大范围的 3D Point Cloud​3.2 3D Registration最后将术中视频重建点云​与术前CT/MRI骨模型​进行配准。分成两步①Global Registration作者采用已有的全局配准方法。②Refinement采用经典 ICP​Iterative Closest Point。最终得到于是术前规划中的 ACL tunnel 可以投影回术中患者真实股骨位置​从而辅助医生确定钻孔位置。四、实验4.1 数据这篇不是普通患者影像分类数据而是7次尸体ACL重建实验​即 cadaver experiments。采集 1080p Arthroscopic Video​帧率 18 fps总共大约 20,000 frames​目标解剖结构主要是 Distal Femur​因为 ACL reconstruction 需要确定股骨隧道的位置。4.2 结果五、结论作者最终证明Learning-based Feature Matching​使得仅利用关节镜视频进行骨表面三维重建并进一步完成术前—术中模型配准成为可能。让关节镜本身变成一个三维测量传感器用视频替代传统触碰式探针完成术中解剖结构数字化。完整流程是关节镜视频​↓World Marker获得相机位姿​↓DKM等算法进行帧间FeatureMatching​↓U-Net筛选BoneCartilage区域​↓Epipolar Filtering​↓Triangulation​↓3D Point Cloud​↓Global RegistrationICP​↓ACL Tunnel Navigation​