医学影像AI迎来“大一统”时代：阿里达摩院发布M3Ret，一个模型通晓X光、CT、内镜

【摘要】介绍了一种名为M3Ret的统一医学影像AI模型。它通过“统一切片化”和自监督学习，首次实现对X光、CT、内镜等多模态影像的单一模型处理，并在零样本条件下展现出强大的跨模态检索能力。

引言

医学影像检索，常被比作医生的“超级搜索引擎”。当临床医生面对一张显示肺部阴影的X光片，他们迫切希望快速找到相似的病例，以此辅助诊断。这个需求简单而直接，但在技术实现上却长期面临一道难以逾越的高墙。

现有的医学影像搜索系统，更像是一个个只会说“方言”的翻译官。专门处理X光的系统看不懂CT扫描的立体信息，为超声设计的算法无法理解内镜视频的动态色彩。这种“各自为政”的局面，源于不同医学影像模态在成像原理、数据维度和视觉特征上的巨大差异。医生在面对不同类型的影像时，必须在多套异构系统之间来回切换，这不仅操作繁琐，更严重拖累了诊断效率。

医学影像AI领域，仿佛陷入了一座“巴别塔”的困境。大家都在用自己的语言描述着同一个人体，却无法互通。

现在，这座高墙似乎出现了裂缝。一项由阿里巴巴达摩院与帝国理工学院、清华大学、湖畔实验室联合开展的研究，带来了一个真正的“万能翻译机”——M3Ret系统。这个系统如同一位博学的医学专家，仅凭一个模型，就能同时看懂2D的X光片、3-D的CT扫描和彩色的内镜视频。

更令人称奇的是，它甚至能在从未“见过”核磁共振（MRI）影像的情况下，准确地检索出相关的MRI图像。这好比一个从未系统学习过法语的人，却能凭借对其他欧洲语言的深度理解，准确翻译一篇法语文档。

这项研究成果已于2025年9月发表，论文题为《M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision》。它所揭示的，或许正是医学影像AI走向“大一统”时代的开端。

一、🏛️ 统一范式的诞生：从“专用工具箱”到“万能钥匙”

1.1 破局之路：为何需要统一模型？

传统的医学影像处理系统，遵循的是“分而治之”的哲学。每一种影像模态，都拥有一套专门为其量身定制的工具箱。

• X光系统 专注于骨骼和高密度组织的二维投影。

• CT系统 擅长处理三维断层扫描，展现内部器官的精细结构。

• 内镜系统 则需要理解视频流中的色彩、纹理和动态变化。

这种设计思路在特定任务上足够专业，但其弊端也日益凸显。它就像一个老派的木匠，每次出门都必须携带十几个沉重的、功能单一的工具箱。在多学科会诊（MDT）等需要综合分析多种影像的复杂场景中，这种割裂感尤为明显。

统一模型的提出，正是为了打破这种僵局。 它的核心思想，不再是为每种影像开发一个“专才”，而是培养一个能够理解所有影像“通用语言”的“通才”。这个“通才”不仅能简化系统架构，降低开发和维护成本，更能从根本上促进不同模态信息之间的融合与理解，为实现更深层次的智能诊断奠定基础。

1.2 核心技术揭秘：“统一切片化”

M3Ret实现“大一统”的魔法棒，是一种名为**“统一切片化”（Unified Patchification）**的核心技术。它的逻辑非常直观，就是将所有输入影像，无论其原始形态如何，都转换成标准化的数据单元。

这个过程好比将不同语言（X光、CT、内镜）的文字，全部转换成一种标准格式的密码（4D数据块）。虽然原始内容千差万别，但经过转换后，就能用同一套解码算法（神经网络）来理解。

具体来说，系统是这样操作的：

通过这种巧妙的数据表示方法，一个基于Vision Transformer（ViT）的神经网络，就能够无差别地处理所有类型的医学影像。它不再需要为2D、3D或4D数据设计专门的网络分支，从而实现了模型架构的真正统一。

1.3 自主学习的智慧：自监督双引擎

如果说“统一切片化”解决了“学什么”的问题，那么**自监督学习（Self-Supervised Learning）**则解决了“怎么学”的难题。

医学影像AI发展的一大瓶颈，在于数据标注。获取高质量的标注数据，需要经验丰富的医生投入大量时间，成本极其高昂。M3Ret绕开了这条昂贵的道路，它像一个聪明的学生，通过自主观察和思考来学习。

研究团队为M3Ret配备了两种强大的自监督学习方法，构成其学习的“双引擎”。

1.3.1 遮蔽自编码器（MAE）：影像世界的“完形填空”

MAE的工作原理，就像我们学生时代常做的“完形填空”或拼图游戏。

1. 随机遮蔽 系统会故意将影像的一部分（比如75%的小块）遮住。

2. 重建任务 然后，它要求模型根据看到的一小部分内容，去预测并重建出被遮住的完整影像。

通过一遍遍地玩这个“填空”游戏，模型被迫去理解影像的内在结构、纹理和上下文关系。比如，它会学到肺部纹理应该是什么样的，主动脉的走向通常如何。这种方式让模型掌握了关于解剖学的底层知识，而不是简单地记忆像素模式。

1.3.2 对比学习（SimDINO）：“找不同”的高阶玩法

对比学习则更像是一个“找不同”游戏的高级版本。

1. 生成正样本 系统会对同一张影像进行多种数据增强变换，比如旋转、缩放、调整亮度和对比度，生成多个“分身”。模型需要学习到，这些看起来略有不同的“分身”，实际上都源于同一个原始影像。

2. 区分负样本 同时，系统会引入其他完全不相关的影像作为“负样本”。模型必须学会将这些负样本与正样本清晰地区分开来。

通过这种“拉近相似的，推远不同的”训练，模型能够学习到影像中最本质、最不受外界干扰的稳定特征。这对于医学影像检索至关重要，因为临床中的影像往往会因为拍摄角度、设备参数等因素产生细微变化。

这两种自监督方法相辅相成，让M3Ret在没有医生标注的情况下，从海量数据中自主提炼出深刻的医学知识。

1.4 数据基石：86万影像的沉淀

任何强大的AI模型，都离不开海量数据的滋养。M3Ret的训练，基于一个包含超过86万张来自真实医院的影像数据集。这个数据规模，大致相当于一家大型三甲医院近十年积累的影像资料。

这个数据集涵盖了多种主流的医学影像模态，包括：

• X光片

• 超声图像

• 内镜视频

• CT扫描

值得强调的是，M3Ret的成功，并非单纯依赖数据量的堆砌。它证明了，通过先进的自监督学习技术，我们可以在远低于传统监督学习所需标注数据量（例如，其对标的BMC-CLIP系统使用了2400万个影像-文本对）的情况下，达到甚至超越后者的性能。这为解决医学AI的“数据标注困境”提供了一条切实可行的新路径。

二、🚀 性能的飞跃：跨模态与零样本的惊人表现

如果说统一模型是M3Ret的骨架，那么其惊人的检索性能就是其血肉。M3Ret不仅在单一模态检索上表现出色，其跨模态和零样本能力更是实现了质的飞跃。

2.1 跨越模态的对话

M3Ret最令人印象深刻的能力之一，就是跨模态检索。它能够用一种类型的影像，去搜索另一种完全不同类型的相关影像。这就像用一本中文书的内容，去精准地在图书馆里找到一本内容相关的英文书，要求系统必须理解不同“语言”背后共通的“语义”。

这种能力的实现，依赖于模型对人体解剖结构的深度理解。虽然X光、CT和MRI的成像原理、视觉呈现截然不同，但它们描绘的都是同一个人体解剖对象。M3Ret通过在海量多模态数据上的学习，掌握了这些不同成像方式之间的内在映射关系。

在实际测试中，M3Ret的跨模态检索能力得到了充分验证。

在临床实践中，这种能力价值巨大。比如，当急诊科医生从一张胸部X光片中发现可疑异常时，他可以立即使用这张X光片，让M3Ret自动检索出具有相似病灶特征的CT扫描影像。这能帮助医生更快速、更准确地判断病情的严重程度，为后续的诊疗方案提供关键参考。

22.2 “无师自通”的零样本泛化

M3Ret的“CT到MRI”检索任务，是在零样本（Zero-shot）条件下完成的。这意味着，在整个训练过程中，模型从未见过任何一张MRI影像。

它之所以能做到这一点，是因为模型并没有死记硬背CT或X光的特定模式，而是学到了更深层次的、可泛化的解剖学知识。它理解了“肝脏”、“脊柱”、“血管”这些解剖结构在不同成像模态下可能呈现的样子。当它面对一张陌生的MRI影像时，它能够将其识别为已知的解剖结构，并与CT影像中的相应结构进行匹配。

这相当于一个从未学过意大利语的人，仅凭对西班牙语和法语的深入了解（它们都源于拉丁语），就能大致读懂一篇意大利语文章的主要内容。这种强大的泛化能力，意味着M3Ret有潜力处理未来出现的新型成像技术，而无需从头开始训练。

2.3 精准到区域：从“看懂”到“看精”

除了基础的影像类别检索，M3Ret还能进行更精细的区域异常检索。这种能力，让它从一个只能识别“这是肺部影像”的初级助手，进化成一个能够指出“左下肺叶有2厘米结节”的资深专家。

系统的区域异常检索能力，体现在两个层次上：

1. 区域异常状态检索 识别某个解剖区域的宏观状态，比如“主动脉正常”或“主动脉异常”。

2. 病灶大小检索 识别更具体的病灶描述，例如“腹部低密度病灶，直径20毫米”。

在没有任何区域级别标注的情况下，M3Ret的表现同样超越了那些依赖大量精细标注的“专业选手”。

虽然5.8%和1.4%的绝对数值听起来不高，但必须考虑到这是在完全没有区域标注的自监督条件下实现的。相比之下，VoCo系统使用了16万张带有像素级器官和肿瘤标注的CT扫描进行训练，却依然被M3Ret超越。这充分说明了M3Ret所学到的视觉特征表示，在细粒度识别上同样具有强大的潜力。

这种能力对临床诊断至关重要。因为病灶的大小、位置和状态，直接关系到治疗方案的选择。例如，小于1厘米的肺结节通常建议观察随访，而大于3厘米的结节则可能需要立即进行手术干预。M3Ret的精准检索，能为医生提供更多决策依据。

三、💡 全面验证与深度解析

为了全面检验M3Ret的学习效果，研究团队让它参加了一系列不同“科目”的“考试”，即在多个国际公认的权威数据集上进行性能测试。

3.1 权威数据集上的硬核对决

M3Ret在各项测试中，均展现了强大的竞争力，其性能在多个关键任务上超越了现有的顶尖系统。

这些结果清晰地表明：

• 在X光检索上，纯视觉的自监督学习可以比依赖文本标注的方法更有效。

• 在超声检索上，M3Ret的表现近乎完美，证明其对特定模态的特征学习非常充分。

• 在内镜检索上，尽管M3Ret是“通才”，但其性能已非常接近“专才”，展现了统一模型的巨大潜力。

研究还发现，在大多数任务中，采用对比学习的SimDINO方法表现优于MAE方法。这可能说明，对于需要区分细微差别的医学影像检索任务，对比学习“拉近相似、推远不同”的训练范式，比MAE的“完形填空”更具优势。

3.2 技术细节探微

M3Ret的成功，离不开许多精巧的设计细节。

• 数据预处理

  • 所有影像都被统一调整为256x256像素。

  • 对于灰度的X光和CT影像，系统会将其通道复制三次，以匹配彩色内镜视频的三通道格式。

  • 对于CT扫描，亨氏单位（HU）值被限制在-1000到1000的范围内，这个范围恰好覆盖了从空气到骨骼的人体主要组织密度，有效去除了噪声。

• 网络架构

  • 模型的基础编码器采用了Vision Transformer (ViT)，这种架构天然适合处理被切分成小块（Patches）的图像数据，与“统一切片化”思想完美契合。

  • 切片大小被设定为3x16x16x4（3个颜色通道，16x16像素，4个时间/深度切片）。这个尺寸是经过大量实验优化的结果，在保留关键细节和控制计算开销之间取得了良好平衡。

• 训练策略

  • 为了应对不同模态数据（尤其是3D的CT）巨大的内存需求差异，研究团队设计了灵活的批次大小（Batch Size）策略。CT扫描使用较小的批次（16），而其他2D模态使用较大的批次（32）。

  • 为了保证训练稳定，每个训练步骤中只使用一种模态的数据，但在不同步骤之间会轮换模态，确保模型能均衡地学习所有类型的数据。

3.3 与现有方法的横向对比

将M3Ret与当前主流的医学影像处理方法进行对比，更能凸显其范式上的领先性。

这张流程图清晰地展示了M3Ret与传统方法的根本区别。它不仅在技术路线上另辟蹊径，更在实际效果上实现了超越。

• vs. BMC-CLIP：尽管后者使用了2400万个影像-文本对，但在多个纯视觉检索任务上被M3Ret超越。

• vs. VoCo & CT-FM：这些是专门为3D CT设计的先进模型，并使用了大量分割标注或预训练数据，但在区域异常检索等任务上，性能依然不及M3Ret。

• vs. Merlin：该系统使用了600万个CT-电子病历对，包含了丰富的疾病标签信息，但在某些任务上仍被纯视觉训练的M3Ret超越。

这些对比有力地证明了，一个设计精良的、基于自监督学习的统一视觉模型，其潜力足以挑战甚至超越那些依赖海量标注数据或专为特定模态设计的复杂系统。

此外，研究还发现M3Ret的性能随着模型规模和数据量的增加，呈现出清晰的幂律增长趋势。这意味着，通过进一步扩大模型和数据规模，M3Ret的性能还有巨大的提升空间，其潜力远未见顶。

四、🌍 临床价值与行业变革

M3Ret的技术突破，不仅仅停留在论文和实验数据上，它对临床医疗实践和整个医学AI行业都具有深远的意义。

4.1 赋能临床实践

在真实的医疗场景中，M3Ret可以扮演多种角色，成为医生的得力助手。

• 高效的诊断辅助：医生可以利用M3Ret快速、准确地找到相似病例，大大缩短诊断决策时间，尤其是在疑难杂症的诊断中。

• 强大的教学与科研工具：医学院学生可以通过系统，围绕一个病例进行拓展学习，快速浏览大量相似案例。科研人员则可以利用它高效筛选符合特定条件的影像数据，加速研究进程。

• 多学科会诊的催化剂：系统的跨模态检索能力，使得胸外科医生可以用CT影像去搜索相关的心脏超声影像，为多学科综合诊断提供了前所未有的便利。

• 基层医疗的“远程专家”：在医疗资源相对匮乏的地区，基层医生可以通过M3Ret，参考大型医院专家的诊断经验和治疗方案，有效提升本地的医疗服务水平。

4.2 方法论的贡献

M3Ret的成功，更在于其方法论上的突破，为AI领域带来了新的启示。

1. 证明了统一模型的可行性：它打破了“不同模态必须使用不同模型”的传统观念，证明了通过巧妙的数据表示，单一模型完全可以胜任多模态任务。这一思想对自动驾驶等其他需要处理多模态数据（如摄像头、激光雷达、毫米波雷达）的领域同样具有启发意义。

2. 凸显了自监督学习的巨大价值：在数据标注成本高昂的医学领域，M3Ret的成功为规模化应用AI扫清了关键障碍，证明了充分利用海量无标注数据同样可以取得卓越效果。

3. 开辟了跨模态学习的新方向：它展示的跨模态泛化能力，说明模型学到的是通用的、深层的知识，而非表面的、模态特定的特征。这为AI系统适应未来层出不穷的新型成像技术提供了可能。

4.3 挑战与前路

尽管M3Ret取得了显著成果，但通往“大一统”的道路并非坦途。研究团队也坦诚地指出了当前系统面临的挑战和未来的发展方向。

• 数据覆盖的广度：目前的训练数据主要覆盖了主流的医学影像模态，对于PET、SPECT、功能性MRI等功能成像技术尚未涉及。未来需要进一步扩展数据覆盖范围，以实现更全面的“统一”。

• 应对设备与协议差异：不同医院、不同设备、不同扫描协议会导致影像存在分布偏移。如何提升模型在真实世界中的鲁棒性和适应性，是未来需要重点解决的问题。

• 更细粒度的病理识别：系统目前主要关注区域异常，对于更细微的病理特征（如肺结节的毛刺、分叶等形态学特征）识别能力还有待提升。

• 部署与法规挑战：在实际部署中，医疗数据的隐私保护和法规遵循是不可逾越的红线。如何构建安全、合规的AI应用，是技术之外的另一大挑战。

总结

M3Ret的问世，不仅仅是一次技术创新，它更像是一场医学影像AI领域的范式革命。它用无可辩驳的实验结果告诉我们，与其为每一种影像“方言”开发一个专门的翻译，不如创造一个能够理解所有“语言”的通用系统。

这种统一化的思路，预示着医疗AI正在经历几个深刻的转变：

• 从专业化工具向通用化平台发展。

• 从依赖大量人工标注向自主学习转变。

• 从单一模态处理向多模态融合进化。

这些变化，不仅将极大降低医疗AI的开发和使用门槛，更将无限扩展其应用边界。当医生面对纷繁复杂的影像数据时，他们不再需要费力地去学习和操作多套复杂的系统，而是可以信赖一个“懂行”的智能助手，快速、精准地找到他们需要的信息。这项研究的意义远超技术本身，它最终将让更多患者受益于AI技术的普惠与进步。

📢💻 【省心锐评】

统一模型加自监督学习，是破解医学影像“数据孤岛”与“标注困境”的金钥匙。M3Ret不仅是技术突破，更是范式革命的开端，它让通用医疗AI从理想照进现实。