这次我们不看部署脚本聊一篇方法类工作UltraPIPS。标题是“Improving model perception in B-mode ultrasound with foundation models”核心要解决的问题很直接——把自然图像上训练好的基础模型用到 B 超图像上时感知能力经常会下滑分割不准、边界不稳、对噪声敏感怎么让这类模型在超声场景里真正好用起来。如果你在做医学影像 AI或者正准备把 SAM 这类基础模型迁移到超声数据上这篇文章值得看到最后。这篇文章会按五条线展开先讲 UltraPIPS 到底解决什么问题再拆解“基础模型 B 超感知”的通用方法结构然后给出一套可落地的本地环境准备、推理流程和功能验证方法接着补上接口封装、批量评估、资源占用观察和常见问题排查最后是工程化建议和合规边界。整个过程不会只停留在论文解读层面而是尽量落到“你拿到代码后该怎么跑、怎么验、怎么集成”。先说结论这类工作的价值不在于模型本身有多新而在于它把“通用基础模型”和“垂直医学影像任务”之间的鸿沟拉近了一点。B 超图像和自然图像差异很大直接套用自然图像模型通常效果一般UltraPIPS 这类方案要解决的正是如何用基础模型的特征表示能力去提升超声图像的分割、检测和分类等感知任务。适合人群主要是医学图像算法工程师、超声设备厂商的算法团队以及正在做基础模型医学迁移研究的同学。1. UltraPIPS 核心能力速览先说清楚整体定位方便你在继续看之前判断这个项目值不值得关注。能力项说明项目类型医学超声图像感知改进方法 / 研究框架核心目标利用基础模型提升 B 型超声图像的分割、检测、分类等感知能力关键技术方向基础模型特征提取、提示策略设计、超声图像预处理、任务适配头典型基础模型SAM 类分割基础模型、DINOv2 / CLIP 类视觉基础模型具体以论文和官方仓库为准推荐硬件NVIDIA GPU 优先CPU 可跑推理但速度明显更慢显存占用取决于骨干网络规格支持平台Linux 优先Windows 需按实际依赖环境测试启动方式研究项目一般通过 Python 脚本完成训练、评估和推理是否支持 API需要自行封装推理服务是否支持批量任务支持批量图像评估可设计目录批量推理与结果导出适合场景超声图像分割、病灶检测、组织结构识别、基础模型医学适应性研究这里要强调一点因为 UltraPIPS 的详细实现细节需要以论文原文和官方开源仓库为准上面表格里的部分描述属于基于标题和同类工作的合理推断。比如它具体选用哪个基础模型、是否做了微调、显存占用多少这些不能拍脑袋定死需要在真实环境中跑一遍才能确认。2. 问题背景与适用边界2.1 为什么 B 超图像的“模型感知”很难B 型超声的成像机制决定了它和自然图像完全不同。超声图像存在明显的斑点噪声、声影伪像、低对比度和组织边界模糊问题同一个器官在不同探头频率、不同扫描角度、不同患者体型下成像差异可能非常大。医生做超声诊断时往往要结合解剖知识、探头操作手法和实时动态信息单纯看一帧静态图都未必能完全确认边界。算法模型要在这个基础上做分割、检测、分类难度会明显高于自然图像任务。更麻烦的是标注成本。超声图像标注需要专业医生逐帧勾画不同医生之间的勾画一致性还不一定高。这个数据特性决定了如果只靠少量标注数据从零训练一个模型很容易过拟合泛化到新设备、新医院时效果断崖式下降。2.2 基础模型介入的价值在哪基础模型尤其是视觉基础模型在大量自然图像上做过预训练具备较强的特征提取能力和一定的零样本感知能力。把这类模型用进位超声图像时它的价值通常体现在三块第一预训练特征可以作为通用特征提取器即使不针对超声专门训练也比随机初始化的模型更容易捕捉到图像中的结构信息。第二像 SAM 这类具有提示机制的模型可以通过点提示、框提示来引导分割目标交互式感知对医学图像场景非常友好。第三零样本或小样本能力意味着即使标注数据很少也能先跑出一个相对合理的基线再通过微调或者提示调优来提升效果。2.3 从标题看 UltraPIPS 做什么UltraPIPS 这个名称可以拆成两个部分“Ultra”指向超声Ultrasound领域“PIPS”从完整标题推断大致对应一条改进感知的流水线或策略。它整体属于“基础模型 医学图像感知”的交叉方向。如果用一句话概括就是在 B 型超声图像上设计一套方法让基础模型的感知能力更稳定、更准确。从实际工程角度看这类工作通常不是从零训练一个大模型而是把基础模型作为骨干配合超声图像预处理和任务特定头部形成一个完整的感知流水线。这样做的优点是既能利用基础模型的强大特征表示又能通过轻量适配把模型能力落到超声任务上。缺点也很明显基础模型的权重文件通常比较大推理时显存占用偏高部署时需要考虑资源消耗。2.4 适用场景与使用边界适用场景方面UltraPIPS 适合组织超声图像算法预研、病灶区域分割、标准切面识别、多中心超声数据效果评估等方向。它不适合直接作为临床诊断工具也不适合在未经充分验证的情况下独立给出诊断结论。医学图像 AI 有很强的专业性任何输出都需要专业医生复核。合规边界上必须强调三件事第一超声图像属于敏感医疗数据获取、传输、存储都必须遵循相应法规和使用授权第二涉及人脸、患者身份信息或其他可识别信息时必须完成匿名化处理第三如果后续要发表论文或商用落地数据来源和标注过程必须清晰合规不能使用来源不明的数据集。3. 方法拆解基础模型如何提升 B 超感知这一节属于方法层面的拆解。由于不清楚 UltraPIPS 论文原文是否公开了全部实现细节这里描述的是这一类方法常见的设计框架你可以把它当作理解项目的参考结构具体模块以官方实现为准。3.1 总体流水线从功能上看一个典型的“基础模型 超声感知”流水线可以分成四段输入处理、特征提取、任务适配、结果输出。B超图像 - 图像预处理 - 基础模型特征提取 - 任务适配模块 - 感知结果B 超图像先经过预处理进入基础模型提取特征再通过分割头、检测头或分类头得到最终输出。如果基础模型本身支持提示输入比如 SAM 风格的点提示或框提示那么用户或者上游检测模块可以额外提供提示信息帮助模型聚焦到目标区域。3.2 超声图像预处理模块预处理是医学图像任务里最容易影响最终效果的一环。不同超声设备导出的图像尺寸、灰度范围、标注比例可能都不一样统一预处理协议很关键。常用操作包括将 DICOM 图像或导出的 PNG 图像统一转为标准尺寸用 CLAHE 或类似方法做对比度增强让组织边界更清晰裁剪掉图像中的探头参数信息、医院标识、扫描深度刻度等无关区域做灰度归一化避免不同设备之间的灰度分布差异影响模型如果图像包含彩色多普勒叠加信息需要根据任务决定保留还是过滤。预处理设计得是否合理直接影响基础模型提取出来的特征质量。同一张图像归一化方式不同基础模型输出的特征分布可能差异很大。3.3 基础模型特征提取这是整个流水线的核心。从公开文献和主流趋势看这类工作常用的基础模型大概分两类。一类是 SAM 这类以分割为核心的基础模型。SAM 可以在自然图像上根据点、框、文本等提示生成高质量分割掩码迁移到超声图像上时通常需要配合提示调优或者轻量微调才能适应超声图像的低对比度和强噪声场景。另一类是 DINOv2、CLIP 这类以通用特征表示为核心的视觉基础模型。它们不直接输出分割掩码而是提供强大的图像特征这些特征可以接入下游分类头、检测头或轻量分割头构成完整的感知模型。从工程角度看“到底选哪一个基础模型”取决于任务类型。如果任务以病灶分割为主SAM 风格模型更直接如果任务以图像分类、切面识别为主DINOv2、CLIP 风格模型可能更合适。UltraPIPS 具体用了哪种或者是否同时组合了多种需要看论文原文。3.4 感知任务的适配与提示策略基础模型输出的是通用特征或通用掩码要落到具体超声任务上还需要适配。以分割任务为例可以选择两种适配方式一种是在基础模型的特征图上加一个小的分割头做端到端微调另一种是冻结基础模型只训练分割头也就是常见的线性探测或轻量适配。冻结骨干的方式训练成本低但效果上限可能不如端到端微调。提示策略也是这类方法的关键。SAM 风格的基础模型允许用户通过点提示标记目标区域帮助模型理解要分割的目标是“这个病灶”而不是“旁边那个正常组织”。在超声图像场景中可以在预处理阶段先用一个检测模型找到目标区域再把检测框或中心点作为提示传给基础模型形成“检测 分割”的串联结构。这种方法在实践中往往比直接让分割模型从整幅图中分割目标更稳定。3.5 训练与评估协议研究项目的评估方式通常包括划分训练集、验证集和测试集注意要按患者或病例划分避免同一患者的不同图像同时出现在训练集和测试集里导致数据泄漏。评估指标方面分割任务常用 Dice 系数和 IoU检测任务常用 mAP分类任务常用准确率、召回率和 F1-score。对超声图像这类类别不平衡比较严重的数据只盯着整体准确率意义不大建议多看每个类别的召回率和误检率。4. 环境准备与依赖清单这个项目属于研究型工作没有一键启动包环境准备是决定你能不能顺利跑通的基础。下面给出一套通用环境清单具体版本以官方仓库的 requirements 为准。4.1 硬件建议GPU 优先选择 NVIDIA 显卡因为 PyTorch 的 CUDA 生态最成熟。显存大小取决于你加载的基础模型骨干网络规格和输入图像分辨率。以常用的分割基础模型为例骨干网络从轻量到重量级权重文件从几百 MB 到 2.5GB 以上都可能推理时显存占用通常需要在真实环境里用nvidia-smi观察不能只看权重文件大小来判断。CPU 可以跑推理但速度明显更慢不建议在 CPU 上做大规模批量评估。磁盘空间方面除了需要预留代码、虚拟环境和基础模型权重文件的空间外超声数据集的体积也要提前规划。一批医学影像数据集动辄几十 GB建议至少预留 50GB 以上的可用磁盘空间。4.2 软件依赖软件方面建议使用 Linux 系统Windows 下部分医学图像处理库的安装可能要多踩一些坑。Python 版本建议选择 3.8 到 3.10 之间的版本深度学习框架以 PyTorch 为主医学图像处理可以搭配 MONAI基础模型部分看官方仓库使用的是哪个库比如 SAM 官方库为segment-anything。这里给出一份通用依赖清单实际以项目仓库为准。# 创建虚拟环境避免和系统 Python 环境冲突 python -m venv venv source venv/bin/activate # 安装 PyTorchCUDA 版本需要和本机驱动匹配 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 安装常用依赖具体版本以需求文件为准 pip install numpy opencv-python pillow pandas tqdm pip install monai pip install segment-anything如果基础模型选择的是 DINOv2 或 CLIP 这类模型通常不需要额外安装独立库直接用torch.hub或transformers就能加载。以 DINOv2 为例可以通过torch.hub加载预训练权重但注意需要科学访问外网下载权重时可能要提前配置好网络环境或者预先下载权重文件放到本地目录。4.3 数据集准备超声数据集建议规范组织。常见方式是一张图像配一个同名 JSON 或 PNG 掩码文件掩码中每个像素值代表不同的组织类别。如果做检测任务则需要准备目标框标注文件。这里给出一个标准目录结构示例data/ ├── images/ │ ├── case_001.png │ ├── case_002.png │ └── ... ├── masks/ │ ├── case_001.png │ ├── case_002.png │ └── ... └── annotations/ ├── case_001.json ├── case_002.json └── ...预处理脚本和划分脚本建议单独放在scripts/目录下不要和数据集混在一起。5. 本地复现与推理流程在不知道官方代码结构的情况下下面给出一套通用复现流程你可以根据自己的节奏调整。5.1 建立项目目录建议先建立清晰的项目目录避免后面模型文件、数据集、输出结果混在一起ultrapips-repro/ ├── checkpoints/ # 存放基础模型权重 ├── configs/ # 配置文件 ├── data/ # 数据集 ├── scripts/ # 预处理、训练、评估脚本 ├── outputs/ # 输出结果 └── venv/ # Python 虚拟环境5.2 安装环境并下载基础模型权重进入项目目录创建虚拟环境并安装依赖然后下载基础模型权重。如果是 SAM需要从官方仓库下载对应的 checkpoint 文件如果是 DINOv2 或 CLIP可以直接通过torch.hub或transformers加载。这里以 SAM 的 ViT-B 为例mkdir -p checkpoints # 下载权重文件到 checkpoints 目录具体下载地址以官方仓库为准 wget -O checkpoints/sam_vit_b.pth 官方权重地址如果你无法直接下载权重可以找一台已有权重的机器复制过来或者确认本机是否能正常访问下载源。5.3 图像预处理脚本下面是一个通用的超声图像预处理脚本示例主要功能是把图像缩放、裁剪 ROI并且做灰度归一化。实际处理逻辑需要根据你自己的数据和任务调整。import cv2 import numpy as np from pathlib import Path def preprocess_ultrasound(image_path, output_size(512, 512), roi_scale0.8): image cv2.imread(str(image_path), cv2.IMREAD_GRAYSCALE) if image is None: raise ValueError(f不能读取图像: {image_path}) h, w image.shape[:2] nh, nw int(h * roi_scale), int(w * roi_scale) y0 (h - nh) // 2 x0 (w - nw) // 2 image image[y0:y0 nh, x0:x0 nw] image cv2.resize(image, output_size, interpolationcv2.INTER_AREA) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) image clahe.apply(image) image image.astype(np.float32) / 255.0 mean image.mean() std image.std() 1e-6 image (image - mean) / std return image if __name__ __main__: img preprocess_ultrasound(data/images/case_001.png) print(img.shape, img.dtype)这段代码的作用是让你提前确认预处理链路能跑通不报错、输出尺寸符合预期。预处理协议是非常重要的“磨刀”阶段建议先用一张图跑通再批量处理。5.4 基础模型加载与推理示例下面以 SAM 为例写一段加载基础模型并对图像生成分割掩码的示例代码。这个例子只是为了说明通用流程不代表 UltraPIPS 的完整实现。import torch from segment_anything import sam_model_registry, SamPredictor import numpy as np # 使用预训练权重初始化模型 sam sam_model_registry[vit_b](checkpointcheckpoints/sam_vit_b.pth) device cuda if torch.cuda.is_available() else cpu sam.to(device) predictor SamPredictor(sam) # 模拟已经预处理好的图像实际使用时传入你的超声图像 image_np np.random.rand(512, 512, 3).astype(np.float32) predictor.set_image(image_np) # 用中心点作为提示 input_point np.array([[256, 256]]) input_label np.array([1]) masks, scores, logits predictor.predict( point_coordsinput_point, point_labelsinput_label, multimask_outputTrue, ) print(masks shape:, masks.shape) print(scores:, scores)这里的关键点在于predictor.predict的输入需要三通道图像格式。前面预处理输出的是单通道灰度图实际送入 SAM 时要扩展成三通道否则可能报维度错误。这也是医学图像和自然图像之间最容易出问题的衔接点。5.5 配置文件示例建议把模型参数、数据路径、输出路径写到一个 JSON 配置文件中方便实验管理。{ model: { backbone: vit_b, checkpoint: checkpoints/sam_vit_b.pth, device: cuda }, input: { image_dir: data/images, mask_dir: data/masks, roi_scale: 0.8, output_size: [512, 512] }, output: { mask_dir: outputs/masks, report_csv: outputs/eval_report.csv } }6. 功能测试与效果验证项目跑通之后要按照不同的感知任务分别验证效果。不要只看“能出结果”要判断结果是否稳定、是否符合医学图像预期。6.1 图像分割测试分割测试的目标是验证基础模型在超声图像上能不能准确勾画出目标区域比如病灶、器官边界或标准切面结构。测试步骤输入一张超声图像选择目标区域中心点或边界框作为提示运行基础模型生成分割掩码将预测掩码与专业医生标注的掩码对比计算 Dice 和 IoU可视化叠加结果人工检查是否有明显漏分割或过度分割。判断标准Dice 指标是否明显高于随机猜测并接近同类方法在公开数据集上的水平边界是否平滑有没有大量空洞在多张图上稳定复现而不是某一张特别差。常见失败原因提示点落在噪声区域导致模型聚焦错误图像灰度分布和预训练数据差异过大预处理的 ROI 裁剪把目标区域裁掉了。6.2 目标检测或定位测试如果任务中包含病灶检测、器官定位需要单独验证目标框的准确性。基础模型本身通常不直接输出检测框可能需要先用检测头或启发式方法生成候选框再结合基础模型做进一步验证。测试步骤输入超声图像运行检测模块生成候选框将检测框与标注框计算 IoU统计不同置信度阈值下的精确率、召回率。判断标准检测框能否稳定框住目标区域偏差是否在可接受范围对边界模糊的病灶召回率是否明显偏低不同设备来源的图像上检测结果是否一致。6.3 图像分类或切面识别测试如果任务是识别标准切面或判断图像质量可以用基础模型提取特征后接分类头完成。测试步骤提取图像特征训练轻量分类头或直接用零样本方式得到类别预测对比真实标签计算准确率、召回率、F1。判断标准每个类别的召回率是否balanced而不是某几个类别高、其他类别完全缺失容易混淆的类别中间模型的置信度是否合理。6.4 常用评估指标与判断逻辑任务类型常用指标判断要点分割Dice、IoU、表面距离指标高不代表边界准确要做可视化检查检测mAP、精确率、召回率关注召回率漏检在医学场景更敏感分类准确率、F1、混淆矩阵类别不均衡时不能只看准确率泛化性多中心设备测试不同设备上指标波动小才算稳定7. 接口 API 与批量评估研究项目复现之后如果要把它接入自己的工具链就需要封装统一的推理接口并设计批量任务流程。7.1 封装推理服务可以用 Flask 或 FastAPI 把推理流程包装成一个 HTTP 服务这样前端工具、自动化脚本都可以通过接口调用。下面是一个 FastAPI 的通用示例from fastapi import FastAPI, UploadFile, File import numpy as np import cv2 from segment_anything import SamPredictor app FastAPI() predictor None def load_model(): global predictor # 在启动时加载模型避免每次请求都重新加载 # predictor build_predictor(...) app.post(/predict) async def predict(file: UploadFile File(...)): content await file.read() img_array np.frombuffer(content, np.uint8) image cv2.imdecode(img_array, cv2.IMREAD_GRAYSCALE) # 在这里调用预处理和推理逻辑 # mask run_inference(image) return {mask: mask.tolist()}启动服务的命令uvicorn api_server:app --host 127.0.0.1 --port 8000注意这个示例只是接口骨架实际需要替换成你自己的推理逻辑。7.2 批量评估流程批量任务的核心诉求是对一批超声图像自动完成分割、检测或分类并导出结果。流程可以设计为三步遍历目录、执行推理、保存结果与汇总指标。import os import json import csv import torch from pathlib import Path def batch_evaluate(image_dir, output_dir, config): image_paths sorted(Path(image_dir).glob(*.png)) results [] for path in image_paths: try: # 预处理 # 推理 # 保存掩码或标签 print(f处理完成: {path.name}) except Exception as e: print(f处理失败: {path.name}, 错误: {e}) results.append({image: path.name, status: failed, error: str(e)}) with open(os.path.join(output_dir, batch_report.csv), w) as f: writer csv.DictWriter(f, fieldnames[image, status, error]) writer.writeheader() writer.writerows(results) if __name__ __main__: batch_evaluate(data/images, outputs/, {})批量任务要特别注意异常处理。医学图像数据经常出现个别文件损坏、标注缺失、图像尺寸异常等情况一个文件的报错不应该中断整个批次。建议每条任务记录状态最后统一生成失败报告。7.3 失败重试与日志批量任务卡住是常见问题。造成卡住的原因通常有三个某个文件读取超时、GPU 显存不足导致进程崩溃、单个文件处理耗时过长。工程上可以给每个文件增加超时控制并周期性输出日志如果批量规模很大建议用消息队列或者简单的任务表管理记录每条任务的状态支持手动重试。8. 资源占用与性能观察资源占用是医学图像研究者容易忽略的点尤其是基础模型参数量大推理资源消耗不容小觑。8.1 如何观察显存占用在推理过程中用nvidia-smi可以看到 GPU 显存占用情况watch -n 1 nvidia-smi重点关注进程对应的显存使用量。如果运行时报CUDA out of memory说明显存不够需要降低输入分辨率、减小批大小或者换更轻量的骨干网络。8.2 影响性能的主要因素输入分辨率是最直接影响显存和推理速度的因素。512 分辨率输入和 1024 分辨率输入计算量差距不是线性增长而是接近四倍。批大小同理batch_size1最保险但吞吐量低显存够用的情况下再逐步增大。基础模型的骨干网络规格是另一个决定因素。以 SAM 为例ViT-B、ViT-L、ViT-H 三种规格的参数量和推理耗时差异很大实际占用需要以本机测试为准。此外提示点的数量也会影响推理速度提示越多模型需要处理的分支越多。8.3 降低资源占用的策略如果显存紧张优先做这几件事降低输入分辨率或者对原图先做 ROI 裁剪只保留目标区域再送入模型批大小固定为 1避免多张图同时推理使用半精度推理即把模型参数转为 float16如果支持 CPU 推理可以在没有 GPU 的机器上做小规模验证但批量处理还是建议用 GPU。半精度转换示例import torch from segment_anything import sam_model_registry model sam_model_registry[vit_b](checkpointcheckpoints/sam_vit_b.pth) model model.to(torch.float16).cuda()需要提醒的是半精度在部分算子上的精度可能受影响医疗图像场景下要先对比 float32 和 float16 的输出差异确认损失可接受后再使用。9. 常见问题与排查方法问题现象可能原因排查方式解决方案环境安装失败Python 版本不匹配或依赖冲突查看 pip 报错信息确认 Python 版本重建虚拟环境固定依赖版本基础模型权重加载报错checkpoint 文件缺失、路径错误或模型结构不匹配检查文件路径、文件大小、模型注册名重新下载官方权重确认 backbone 名称一致CUDA out of memory显存不足输入分辨率或 batch size 过大用 nvidia-smi 观察显存占用降低分辨率、batch size 设为 1、使用半精度图像读取失败文件损坏或不是常见图片格式用 OpenCV 单独读取并打印错误剔除损坏文件检查格式输出的分割掩码全为 0提示点位置不对或预处理错误可视化预处理后的图像和提示点位置调整提示点检查预处理是否有裁剪问题推理速度极慢CPU 推理或模型规格过大查看是否在 GPU 上运行切换 GPU 推理换更轻量骨干网络批量任务中途卡住某个文件读取阻塞或显存溢出查看日志输出和进程状态增加超时控制记录失败文件后跳过API 请求超时推理耗时过长没有异步处理查看服务日志和请求耗时增加超时时间使用异步任务队列10. 最佳实践与使用建议第一先跑通最小推理流程再做批量任务。第一次最好只用一张图像完成预处理、加载模型、推理、可视化整个链路确认无误后再扩展到全量数据。最小可运行配置值得保存下来作为后续实验的基线。第二模型文件、数据、输出结果分目录管理。医学图像项目很容易在实验迭代中积累大量中间产物建议所有输出统一写出到outputs/目录并在输出文件名中包含模型名称和输入图像名称方便追溯。第三批量任务一定要加日志和失败重试机制。医学图像数据集经常出现个别坏样本不要让一个坏样本中断整批任务。每条任务的运行状态、耗时、输出文件路径都记录到 CSV方便分析失败原因。第四接口服务要限制访问范围。如果封装了 API 服务默认绑定127.0.0.1不要随意暴露到公网。超声图像属于敏感数据服务端要做好访问控制和数据脱敏。第五涉及人脸、声音、版权素材等场景时必须确认授权。这里尤其要提醒医学影像场景任何公开数据集的使用都要检查发布许可涉及患者数据时要完成匿名化处理并严格遵守所在机构的数据安全规范。第六发布结果前要做效果复核。基础模型在超声图像上的输出仍然可能出错不能只看 Dice 指标就说系统可用。建议随机抽检一批可视化结果由具备医学背景的人员或专业医生做最终判断。11. 总结与下一步UltraPIPS 这类工作最值得尝试的点不是它提出了多么新颖的模型结构而是它展示了基础模型在医学超声领域可以怎么用、怎么适配、怎么评估。如果你准备复现这个方向建议先跑通最小推理流程再逐步加上评估脚本。最值得验证的功能是基础模型在没有微调情况下的零样本表现那是整个框架的基线。最容易踩的坑是预处理协议不一致导致同一张图在不同环节上的结果对不上。下一步可以往两个方向走一是用更大的基础模型做特征提取对比不同骨干网络在超声任务上的收益二是把提示策略从点提示扩展到框提示和文本提示研究多模态提示的融合方式。如果你正在做医学影像基础模型方向的工作可以先把这套评估思路落到自己的数据集上跑一遍再决定要不要深入复现。