Nat. Commun. 研究:大型推理模型在临床诊断中的准确性与安全性权衡
Nat. Commun. | 大型推理模型在临床诊断中的准确性与安全性权衡
发表在 Nat. Commun. 的研究基于 MIMIC-IV 和 eICU 构建长上下文诊断基准 AIMS-LDR,对比 GPT-5、Gemini 2.5、Claude 4、DeepSeek 及两种 Qwen3 的推理与非推理模式。
研究在真实电子病历上对比推理与非推理模型,量化了准确率提升与假阳性增加之间的取舍。
DRUGONE
大型推理模型(Large Reasoning Models,LRMs)通过引入更复杂的推理过程,在临床诊断中展现出优于传统大语言模型(LLMs)的潜力。然而,推理能力的增强是否能够同时提高诊断的准确性、可靠性和安全性,仍缺乏系统性评估。
针对这一问题,研究人员构建了基于真实电子健康记录的长上下文诊断推理基准AIMS-LDR,涵盖12个临床专科及六组具有推理和非推理模式的模型。研究发现,与传统大语言模型相比,大型推理模型能够更准确地识别主要诊断,并生成临床相关性更高的鉴别诊断结果,但其假阳性诊断数量增加超过34%,诊断结果的重复一致性也明显下降。
研究进一步表明,这种准确性与安全性之间的权衡在不同提示词设计、模型参数和开放式诊断场景中均持续存在。为改善这一问题,研究人员提出由大型推理模型扩展诊断范围、临床医生负责审核与纠错的人机协作模式。在15名医生参与的验证实验中,该策略使诊断准确率相对提高约20%,同时将模型产生的假阳性减少约44%。研究揭示了大型推理模型在临床应用中的双重效应,并强调医生监督对于实现安全、可靠的人工智能辅助诊断具有重要意义。

临床诊断是医疗实践中最复杂的认知任务之一。医生需要综合患者病史、体格检查、实验室检验、医学影像以及既往诊疗记录等多种信息,识别主要疾病、判断合并症,并排除可能造成误诊的其他疾病。随着电子健康记录不断积累,临床信息呈现出数据量大、时间跨度长和信息来源分散等特点,进一步增加了诊断推理的难度。
近年来,大语言模型在医学知识问答、临床文本理解和辅助诊断等任务中取得了明显进展。特别是通过强化学习训练的大型推理模型,能够开展多步骤分析,对复杂临床线索进行整合和推断。这种能力有望帮助医生发现容易遗漏的疾病,并提高复杂病例的鉴别诊断质量。
然而,临床诊断不仅要求识别正确疾病,还需要尽可能避免缺乏证据支持的诊断结论。假阳性诊断可能导致不必要的检查、治疗和医疗资源消耗,甚至干扰真正疾病的诊疗。与此同时,临床决策工具还必须具备足够的稳定性,即面对相同患者信息时,应当能够重复产生相近的诊断结果。
现有医学人工智能评估通常侧重诊断准确率或医学知识测试成绩,缺少对推理过程可能引入的假阳性、结果不一致及潜在临床风险的系统分析。此外,许多医学基准主要使用经过简化的病例描述,难以充分反映真实电子病历中复杂、冗长的临床信息。
因此,研究人员提出,有必要在真实长上下文临床数据中直接比较大型推理模型与传统大语言模型,明确推理能力增强所带来的诊断收益及其潜在代价,并探索更适合临床使用的人机协作方式。
研究方法
研究人员基于MIMIC-IV和eICU两个真实临床数据库构建长上下文诊断推理数据集LDR-MIMIC和LDR-eICU,分别包含1,157例和1,821例临床病例,病历平均长度为2,657个词元。研究选取六组代表性模型,包括GPT-5、Gemini 2.5、Claude 4、DeepSeek及两种Qwen3模型,分别比较其推理与非推理模式,覆盖12个临床专科。模型需要根据病历生成排序后的鉴别诊断列表及最终诊断,研究人员从主要诊断准确率、Top-N诊断覆盖率、临床相关性、假阳性数量、诊断重要性和临床严重程度等维度评价性能。同时,通过重复推理、调整推理强度及开放式诊断实验分析结果稳定性和安全性。最后,研究纳入15名不同资历的临床医生,分别对呼吸系统、循环系统和代谢性疾病病例进行独立诊断及人工智能辅助诊断,评估医生审核能否改善诊断准确性并减少错误。
研究结果
大型推理模型的临床诊断评估框架
研究人员首先建立了面向真实临床诊断的综合评价框架,将模型表现划分为诊断性能和临床可靠性与安全性两个方面。
诊断性能主要包括主要诊断准确率、诊断重要性、鉴别诊断覆盖率及诊断结果的临床相关性。其中,主要诊断准确率用于衡量模型能否准确识别患者最重要的疾病,鉴别诊断覆盖率则反映模型能否在多个候选结果中包含真实诊断。
临床可靠性与安全性主要考察假阳性诊断、重复推理一致性以及预测结果与患者疾病严重程度之间的匹配情况。研究人员认为,单纯提高主要诊断准确率并不足以证明模型适合临床使用,因为生成过多缺乏依据的疾病判断,同样可能增加诊疗风险。
在此基础上,研究比较了六组模型在相同病历输入下的推理与非推理表现,并进一步设计由模型先生成诊断、医生随后审核的协作流程。这一框架使研究不仅能够比较模型的预测能力,还能够评估其潜在临床后果。

图1|大型推理模型临床诊断性能、安全性及人机协作评估框架。
推理能力提高主要诊断准确率与临床相关性
研究人员首先比较了大型推理模型与传统大语言模型在主要诊断任务中的表现。
在LDR-MIMIC数据集上,大型推理模型的平均主要诊断准确率达到52.8%,明显高于非推理模型的38.7%,提高14.1个百分点。在LDR-eICU数据集上,推理模型的平均准确率为35.1%,同样优于非推理模型的28.9%。
这一优势不仅体现在单一诊断结果,还体现在鉴别诊断覆盖率方面。在LDR-MIMIC数据集中,表现最好的大型推理模型Top-10诊断准确率达到84.3%,高于最佳非推理模型的72.6%。类似趋势也出现在LDR-eICU数据集中,说明推理过程有助于模型从复杂病历中识别更多可能存在的疾病。
为评价预测结果的实际临床价值,研究人员进一步根据国际疾病分类编码,将诊断结果划分为完全正确、临床接近、相关和无关四个等级。
结果显示,大型推理模型完全正确的诊断比例达到42.1%,高于非推理模型的28.7%;临床接近的诊断比例分别为8.5%和7.8%。与此同时,推理模型产生的临床无关诊断比例为32.8%,明显低于非推理模型的45.0%。
这些结果表明,大型推理模型不仅更容易识别主要疾病,而且在无法完全准确判断时,也更倾向于生成与真实疾病相关的诊断建议。不过,诊断列表更全面并不意味着整份病例的诊断结论更加可靠。

图2|大型推理模型与非推理模型的诊断准确率、鉴别诊断覆盖率及临床相关性比较。
更强的推理能力伴随更多假阳性诊断
尽管大型推理模型在主要诊断和鉴别诊断方面具有优势,研究人员却发现,其对全部重要疾病的联合判断并不一定更加准确。
在要求模型完整识别病例中所有高优先级疾病的严格评价下,大型推理模型的完全匹配准确率仅为9.1%,低于非推理模型的10.9%。进一步分析发现,这种差异主要与推理模型产生更多假阳性诊断有关。
在LDR-MIMIC数据集中,大型推理模型每例病例平均产生1.47个假阳性诊断,而非推理模型为1.09个,增加34.8%。在LDR-eICU数据集中,两类模型的平均假阳性数量分别为5.47和5.01,同样表现出推理模型错误诊断更多的趋势。
为了明确这种现象是否与推理过程有关,研究人员进一步调整GPT-5的推理强度,设置从最低到较高的多个推理水平。结果显示,随着推理强度增加,模型的主要诊断准确率和鉴别诊断覆盖率持续改善,但假阳性数量也同步增加。
这说明推理能力增强可能使模型提出更多潜在疾病假设,但并非所有假设都具有充分的临床证据支持。对于临床诊断而言,这种倾向虽然有助于降低遗漏疾病的可能性,却也增加了错误诊断的风险。

图3|大型推理模型与非推理模型的完全匹配准确率、假阳性数量及推理强度影响。
开放式诊断验证准确性与安全性之间的权衡
为了排除固定候选疾病列表可能造成的评价偏差,研究人员进一步开展开放式诊断实验,允许模型直接根据完整病历生成自由文本诊断,而不提供预先定义的疾病选项。
实验分为两个阶段。首先,模型独立生成最多10项鉴别诊断及1至3项最终诊断;随后,研究人员利用独立评价模型将诊断文本映射至标准疾病编码,以便计算准确率和假阳性数量。
在这一更加开放的实验条件下,大型推理模型仍然保持诊断性能优势。采用标准提示词时,推理模型的平均主要诊断准确率为37.2%,高于非推理模型的35.0%,并且在不同数量的鉴别诊断候选中普遍表现更好。
但与此同时,推理模型每例病例平均产生1.62个假阳性诊断,而非推理模型为1.42个。这表明,准确率提升与假阳性增加的现象并非固定疾病选项造成的特定结果。
研究人员还在开放式任务中再次调整GPT-5的推理强度,发现随着推理投入增加,诊断表现与假阳性数量均呈上升趋势。
这些结果进一步表明,大型推理模型的准确性与安全性权衡具有一定普遍性,不能简单通过改变提示词或取消候选疾病列表来消除。

图4|开放式临床诊断条件下大型推理模型的诊断准确性与假阳性风险。
推理过程降低诊断结果的一致性与可重复性
临床诊断工具除了需要准确,还必须能够在相同条件下提供相对稳定的结果。研究人员因此进一步评估模型的自一致性,即同一模型面对相同病例时,多次推理是否产生一致的诊断结论。
研究从LDR-MIMIC数据集中随机抽取100例病例,对每个模型分别进行三次独立推理,并比较主要诊断以及全部高优先级诊断的重复一致性。
结果显示,大型推理模型的主要诊断一致性平均为52.3%,明显低于非推理模型的69.0%。对于全部高优先级诊断,采用交并比评价时,推理模型的一致性为43.0%,而非推理模型达到51.0%。
研究人员进一步考察模型采样随机性的影响,将推理温度调整为零,以减少输出随机变化。然而,即使在这一条件下,非推理模型的诊断一致性仍达到78.6%,明显高于推理模型的55.8%。类似现象也在LDR-eICU数据集中得到验证。
这些结果说明,大型推理模型在面对复杂病例时可能探索不同的诊断路径,并因此产生不同的最终判断。更充分的推理虽然扩大了疾病识别范围,却也降低了结果稳定性。这种不一致对于需要可追溯、可复核诊断结论的临床应用构成了额外挑战。

图5|推理过程对临床诊断结果自一致性与重复稳定性的影响。
假阳性的临床风险与医生监督的改善作用
研究人员进一步考察假阳性诊断可能带来的临床后果,并评估医生监督能否降低这些风险。
首先,研究从诊断重要性和疾病严重程度两个维度评价模型输出。大型推理模型的诊断重要性评分达到0.49,高于非推理模型的0.37,表明其更善于识别广泛的临床问题。但在临床严重程度评分上,非推理模型达到0.77,优于推理模型的0.73。
研究人员进一步将假阳性分为潜在有益、中性和潜在有害三类。结果显示,大型推理模型中15%的假阳性属于潜在有益类别,高于非推理模型的11%;但两类模型仍分别有57%和63%的假阳性被归为潜在有害类别。
在医疗资源负担分析中,大型推理模型假阳性所关联的实验室检查、药物、手术操作及其他诊疗资源使用均更多,其综合负担指数达到0.61,高于非推理模型的0.52,相对增加17.3%。这些结果属于基于诊断标签关联信息的潜在负担评估,并不代表实际发生了相应医疗操作。
为降低这些风险,研究人员设计了模型先生成诊断结果、医生随后审核的协作模式。研究共纳入15名全科医生,分别评估呼吸、循环和代谢性疾病病例,每类疾病50例。
结果显示,在大型推理模型辅助下,呼吸系统疾病的综合诊断表现由62.6%提高至73.9%,循环系统疾病由54.5%提高至66.6%,代谢性疾病由53.7%提高至63.5%。
不同资历医生均获得改善。初级医生的主要诊断准确率平均相对提高20.1%,具有一定经验的医生提高19.7%。与此同时,医生审核显著减少了模型产生的假阳性,两类医生分别使假阳性数量降低43.6%和44.0%。
这表明,大型推理模型与医生在诊断任务中具有一定互补性。模型能够扩大诊断范围、提供潜在疾病线索,而医生可以结合临床知识和证据判断排除不合理诊断,使整体决策更加准确和可靠。

图6|大型推理模型的临床信息价值、假阳性潜在负担及医生监督对诊断表现的改善。
讨论与结论
本研究系统揭示了大型推理模型在临床诊断中的准确性与安全性权衡。与传统大语言模型相比,大型推理模型能够更充分地整合复杂病历信息,提高主要诊断准确率和鉴别诊断覆盖率,但同时更容易产生缺乏证据支持的疾病判断,并表现出较低的重复一致性。
研究发现,这种权衡在不同数据集、提示词设计、推理强度和诊断模式下均存在,说明更强的推理能力并不必然带来更安全的临床决策。假阳性不仅影响诊断准确性,还可能增加后续检查、治疗和医疗资源使用负担。
值得注意的是,医生参与审核能够明显改善这一问题。通过由模型提供全面诊断建议、医生负责核实证据和筛除错误,研究在受控条件下同时实现了诊断准确率提高和假阳性减少。
不过,该研究主要基于回顾性电子健康记录和标准化诊断任务,部分病历可能包含住院后期形成的信息,疾病编码本身也存在一定误差。此外,人机协作实验使用了预先限定的疾病候选列表,可能高估其在真实开放式诊断环境中的效果。未来仍需开展前瞻性临床验证,并进一步解决模型置信度校准、诊断结果解释和医生审核负担等问题。
总体而言,这项研究表明,大型推理模型的临床价值不能仅以诊断准确率衡量,还需要同时考虑假阳性、结果一致性和潜在临床风险。 将模型的广泛推理能力与医生的专业判断相结合,可能是推动医学人工智能安全应用的重要方向。
整理 | DrugOne团队
参考资料
Wu, S., Chen, L., Fu, Y. et al. The accuracy-safety trade-off of large reasoning models in clinical diagnostics. Nat Commun (2026).
https://doi.org/10.1038/s41467-026-78520-x

内容为【DrugOne】公众号原创|转载请注明来源
来源:智源社区 · hub.baai.ac.cn