NEJM AI观点：临床AI的证据标准

From Technical Performance to Clinical Readiness: A Phase-Based Framework for Evidence Standards in Clinical Artificial Intelligence

Nenadic I, Loring Z, and Noseworthy PA, et al.

DOI: 10.1056/AIp2600684

上图由AI生成

临床AI对证据标准的需求

临床AI已从概念验证迅速发展到临床部署阶段。基于临床影像、生理监测、实验室数据、电子健康记录及多模态临床数据构建的工具正日益增多，以支持诊断、筛查、风险分层和诊疗决策。心血管AI提供了一个代表性用例，因为AI辅助心电图、超声心动图、可穿戴设备以及多模态风险预测工具已经进入监管、商业和医疗体系的实施路径。基于数十万份心电图（ECG）数据训练的基础模型，如今在包括心律失常检测和心室功能障碍评估在内的多项下游任务中，均展现出优异的区分性能。

然而，临床医师和医疗体系在判断哪些系统已足够成熟，可投入临床应用方面，可参考的实用指南十分有限。临床AI的证据标准仍不统一。许多研究在回顾性数据集中报告了出色的区分度、内部验证和外部验证结果。评估校准、不确定性量化、对分布偏移的稳健性或模型可解释性的研究较少。而证明对临床决策和患者结局产生实质性影响的研究则更少。在临床诊疗中，性能必须结合预期用途、比较对象、下游后果以及临床可操作性进行解读。医疗AI最具价值的应用往往依赖于罕见或偏倚的数据，这造成了一种悖论：最具临床意义的问题往往也是最难进行严格评估的。

近期有研究强调，在设计AI工具时必须明确关注工作流程约束、能力限制以及结局效用之间的权衡。仅凭较高的诊断准确率并不能保证其价值。在各类医疗应用中，假阳性与假阴性造成的危害往往是不对称的，而可接受的平衡点取决于预期用途。在心血管应用中，用于检测射血分数降低的AI-ECG模型可在特定人群中提高超声心动图的检出率，但如果疾病患病率较低、阳性预测值（PPV）有限或下游影像检查能力受限，则广泛筛查可能产生不同影响。同样，一种心律失常筛查工具，如果在未改进治疗决策的情况下明显增加动态心电图监测、患者焦虑或抗凝治疗评估，则其带来的负担可能大于益处。

因此，证据阈值不能一刀切；必须根据验前概率、误差不对称性、疾病患病率、下游后果、价值主张以及偏倚来源进行校准。对于事关重大的临床应用，证据应超越传统的准确性，还需证明其校准性、对新数据的稳健性、亚组公平性、不确定性的透明沟通以及合理的临床可操作性。

这些观察结果提示，临床AI不仅需要更好的模型，还需要更清晰的证据标准。TRIPOD+AI、CONSORT-AI、SPIRIT-AI和DECIDE-AI等报告框架提高了模型开发和评估的透明度，而更广泛的实施和治理框架则解决了部署、运营保障和监督等问题。然而，在临床AI的转化生命周期中，关于证据成熟度的简单通用语言仍未明确。这些框架有助于明确系统应如何报告、实施或治理，但未必能说明系统已达到转化就绪度的哪个阶段，或该阶段哪些宣称内容是合理的。

基于分期的框架的具体作用是将开发的每个阶段与核心问题、预期证据以及可合理支持的宣称内容类型联系起来。统一的分期定义有助于研究者、审稿人、编辑、监管机构、开发者、临床医师和医疗体系将报告的进展与支持临床宣称内容所需的证据相匹配。在目前缺乏此类框架的情况下，早期技术进步常被解读为临床就绪度的指标，而后期阶段验证、前瞻性评估和部署后监测的定义却仍不统一。统一的成熟度模型提供了一套通用术语，既可区分技术可行性与临床影响，又能据此校准预期。

基于分期的临床AI框架

我们提出了一种临床AI的证据分期模型，其原理与药物和医疗器械领域长期采用的结构化开发路径类似（图1）。

图1. 临床人工智能证据成熟度的基于分期框架

该框架将面向决策的AI工具划分为五个证据分期，涵盖从模型开发和表征学习到部署后监测的全过程。每个分期均由一个核心问题、预期证据以及可合理支持的宣称内容来界定。该框架旨在使宣称内容与各分期相应的证据相匹配，并在AI-ECG、AI辅助超声心动图与影像学、心律监测、可穿戴设备以及多模态临床数据等领域，区分技术潜力与临床就绪度。监管授权可能因AI工具的预期用途和风险水平而发生在不同阶段，但获得监管授权并不意味着其全生命周期的证据评价工作已经完成。NPV代表阴性预测值；PPV代表阳性预测值。

1期：模型开发与表征学习

在此阶段，通常通过监督学习、自监督学习或多模态学习对模型进行训练，以捕捉临床数据集中的潜在结构。在心血管AI领域，ECG基础Transformer模型便是这种方法的典型代表。这些工作虽能提升技术可行性和表征质量，但仅凭这些尚无法确立临床效用。

2期：内部验证

模型应在开发环境中采用适当的内部验证策略（包括根据数据集规模和设计选择留出法[held-out testing]测试或交叉验证）来展示其性能。应报告区分度、校准、不确定性量化结果、不同阈值下的性能，以及在具有临床意义工作点的PPV。在心血管AI领域，这可能包括针对射血分数降低、心律失常检测或心力衰竭风险预测的AI-ECG模型的内部测试。此处，TRIPOD+AI等透明度标准至关重要。

3期：外部验证

需跨机构、供应商、患者人群及临床工作流程对性能进行评估。外部验证应评估可迁移性、校准、亚组性能以及对分布偏移的稳健性。在心血管AI领域，这可能包括在不同ECG平台、动态监测系统、影像工作流程和医疗系统中的测试。联邦或多机构验证工作可在保护隐私的同时加速进展。

4期：决策影响与实施就绪度

除预测准确性外，还需评估模型对临床医师行为、工作流程、资源利用率及临床干预的影响，并提供前瞻性证据，证明其应用有望改善诊疗。4期并非临床试验的替代方案；相反，它是进行前瞻性临床评估的分期。根据预期用途、临床风险、自主程度及部署规模，这可能包括静默模式的前瞻性评估、前瞻性观察性研究、随机或整群随机试验、阶梯楔形设计或实效性临床试验，并在可行的情况下采用盲法或盲法结局裁定。

该分期可考察AI系统在真实世界约束条件下，是否对诊断检测、转诊模式、监测策略、确诊时间、治疗启动、患者结局或净效益产生实质性影响。此外，还应评估实施就绪度，包括采用障碍、基础设施要求、电子健康记录集成、运营可行性、下游检测能力，以及部署的商业论证或价值主张。DECIDE-AI和CONSORT-AI在此阶段尤为有意义。

5期：部署后监测

系统实施后，必须对性能下降、意外伤害、工作流程中断以及公平性影响进行监测。部署后评估还应考察校准或结局关联性的明显变化是否源于数据集偏移、病例构成变化，或是模型本身引发的下游诊疗变化。实际监测可能包括对区分度和校准漂移、亚组性能、PPV、警报数量、临床医师推翻模型建议的比例、下游检测负担、漏诊、假阳性、安全事件、治疗模式及资源利用情况的监控。

监测强度应与临床风险、自主程度、部署规模及潜在下游后果成正比。高风险或广泛部署的系统可能需要正式的仪表盘、定期病历审查或结局裁定、预设的重新校准或停用阈值，以及明确的机构治理机制。AI系统是动态的社会技术工具，其安全性和效果不能仅从部署前的验证中推断出来。

一个有用的心血管领域示例是用于检测射血分数降低的AI-ECG。基于大型ECG数据集的模型开发和表征学习对应1期；使用留出法测试或交叉验证进行的内部验证对应2期；而跨越不同供应商、患者人群和医疗体系的多中心验证则对应3期。4期将前瞻性考察在特定人群中部署该系统是否能提高诊断率、合理调整超声心动图的开单频率、缩短诊断时间，或在不造成过重下游负担的情况下促成有益的治疗干预。

根据预期用途和临床风险，该分期可能需要采用随机、整群随机、阶梯楔形或实效性临床试验设计，并在可行的情况下采用盲法或盲法结局裁定。随后，5期将监测部署后的校准或结局漂移、PPV、亚组性能、影像学检查数量、治疗模式以及对诊疗的意外影响。该框架的价值在于，它能够区分技术潜力与部署就绪度，并防止将早期性能与已确立的临床效用混为一谈。

对临床AI的意义

该框架无意阻碍创新、取代监管审查，或对所有AI研究强制规定统一要求。早期工作（包括基础表征学习）仍然至关重要。其目标在于使宣称内容与证据相匹配。1期模型不应被宣称已达到3期的就绪标准，而3期模型在未经前瞻性评估的情况下，也不应被推定能改善诊疗。不同司法管辖区（包括美国和欧洲）的监管路径各异，但授权通常针对明确的预期用途评估安全性和效果，不应与证据完全成熟混为一谈。对于高风险、自主或广泛筛查的临床AI工具，监管机构可适当地要求提供前瞻性决策影响证据和部署后监测计划。

然而，4期实施价值和5期持久效果还取决于当地工作流程、疾病患病率、资源能力以及公平性影响，因此需要医疗体系、支付方、期刊和专业学会进行补充性评估。明确的分期术语有助于这些利益相关方区分监管授权、证据成熟度和临床就绪度，同时不会阻碍探索性研究。

将框架扩展至新兴AI系统

尽管本文主要关注诊断性和预测性临床AI，但相关原则也可适用于生成式和智能体系统。这些工具引发了独特的证据问题，包括保真度、遗漏率、幻觉风险、监督负担、可审计性以及自主程度。由于生成式AI是一个独立的证据问题，不应将其归入与诊断性医疗器械软件（SaMD）或预测性决策支持工具相同的性能范式中。未来的框架可能需要更直接地应对生成式和智能体系统。

构建严谨评估的基础设施

此类框架也与更广泛的治理工作相辅相成。在先前研究中，我们曾指出，临床医师必须充当“情境工程师”，塑造在床边指导AI行为的数据、任务、工具和约束条件。证据标准是这一原则在出版层面的体现：它们塑造了模型开发的激励机制，并决定哪些宣称内容是合理的。由于临床决策是在不确定性条件下进行且受限于人类认知能力，因此证据标准不仅应评估模型性能，还应评估不确定性如何被传达，以及输出结果如何与临床医师的判断相互作用。通过这一方式，它们有助于塑造人类–AI协作系统，而非孤立地评估算法。

最后，该框架对该领域应将资源投入何处，以及如何推动高价值应用进入后续证据阶段，具有实际指导意义。正如Murthy和Patel所指出的，最具临床重要性的AI任务往往依赖于稀缺或偏倚的数据，这使得对其进行严格评估变得困难。因此，可能需要开展协调一致的多机构合作以及联邦训练和验证工作，以支持公平的基准测试和可靠的外部验证。如果缺乏此类基础设施，创新可能会继续集中在易于获取、价值较低的任务上，而不是最有可能改善诊疗的临床相关问题上。

结论

临床AI不太可能遵循单一的监管或证据模板。有些应用类似于诊断工具，有些类似于筛查工具，还有些则是工作流程优化系统。即便如此，一种在原则上与药物和医疗器械所用模型类似的分阶段证据模型，为将创新与临床就绪度相协调提供了一种切实可行的途径。明确界定共同的证据分期，有助于研究者、期刊、监管机构和医疗体系不仅考察模型是否性能良好，更能判断其是否已达到足以支持预期临床应用的转化成熟度。临床AI的未来不仅取决于算法的创新性，更取决于技术进步能否转化为诊断、治疗、工作流程、资源利用及患者结局的可量化改善。 

版权信息

本文由《NEJM医学前沿》编辑部负责翻译、编写或约稿。对于源自NEJM集团旗下英文产品的翻译和编写文章，内容请以英文原版为准。中译全文以及所含图表等，由马萨诸塞州医学会NEJM集团独家授权。如需转载，请联系[email protected]。未经授权的翻译是侵权行为，版权方保留追究法律责任的权利。

点击下方名片，关注《NEJM医学前沿》