NIH资助的AI模型可读取CT扫描,提前数年预测疾病发作

斯坦福大学研究团队在美国国立卫生研究院的资助下,开发了一个名为Merlin的AI模型,该模型能够解读3D腹部CT扫描并完成超过750项任务,从识别器官到在临床诊断前数年预测慢性疾病的发作。本周发表于《自然》杂志的这项研究表明,这个单一的通用型模型在性能上超越了为单项任务专门构建的工具。

一个超越专业模型的通用模型

Merlin是一个3D视觉-语言基础模型,使用15,331个腹部CT扫描与放射学报告配对,以及来自电子健康记录的近100万个诊断代码进行训练。研究人员在涵盖752项独立任务的六大类别活动中对其进行了评估,包括诊断、预后和质量评估。

平均而言,在692个不同的诊断代码中,Merlin能够正确预测两个扫描结果中哪一个更可能与特定病症相关联,准确率超过81%,优于多个竞争模型。对于102个代码的子集,其准确率上升到90%。

"有了Merlin,你可能可以超越传统放射学,直接从影像跳转到可能的诊断。而这只是一个潜在用途,"联合第一作者Louis Blankemeier说道,他在斯坦福大学读研究生期间进行了这项工作。

在疾病出现之前进行预测

也许最引人注目的是Merlin预测慢性疾病的能力。当被要求预测健康患者在五年内是否会发展出糖尿病、骨质疏松症或心血管疾病等疾病时,该模型识别出高风险患者的准确率达到75%,而另一种替代模型的准确率为68%。研究结果表明,Merlin能够检测到扫描图像中人眼无法察觉的特征,这可能指向疾病的新型生物标志物。

研究人员还让Merlin解读胸部CT扫描图像,这是一个完全不在其训练数据范围内的身体区域。该模型的表现与专门针对胸部影像训练的工具一样好,甚至更优,展示了它学习疾病通用特征的能力。

仅使用单个GPU训练

与许多需要庞大计算基础设施的大型AI模型不同,Merlin仅使用单个GPU进行训练。团队特别强调这一细节,以证明医院和研究机构可以用有限的资源构建自己的基础模型。斯坦福大学研究生、共同第一作者Ashwin Kumar指出,虽然某些任务开箱即用,"但其他更复杂的任务,例如从零开始撰写放射学报告或在3D空间中识别和勾画器官轮廓,则需要额外的训练"。

研究人员表示,他们计划为较简单的应用寻求监管批准,同时继续优化Merlin以应对自动报告撰写等更复杂的挑战。