小罗碎碎念文献来源本文基于2026年10月8日发布的arXiv预印本《ActiveMedAgent: Cost-Aware Trajectory Learning for Multimodal Medical Diagnosis》arXiv:2610.11140v1。研究团队来自圣路易斯华盛顿大学、耶鲁大学、西奈山伊坎医学院和亚利桑那州立大学第一作者为Weiwei Ma三位共同通讯作者Xiaobing Yu、Xiaoqi Zhao、Xiaofeng Liu的署名单位均为耶鲁大学。做医学多模态研究时我们经常会关心一个问题在影像之外再加上检验指标、病历文本模型的诊断性能还能提高多少但这个问题往往有一个前提——所有数据都已经准备好了只等着送进模型。真实诊断却是一步步往前走的。医生先了解主诉和病史再决定要不要查血、做影像每增加一项检查都要考虑它能帮助区分哪些疾病以及是否值得付出相应的成本。而对大模型来说这里还有一个容易被忽略的问题资料增加之后它的判断一定会变好吗今天和大家分享的这篇文章就从一个反直觉的现象开始。在三个数据集、两种模型的六组实验中作者汇总了175个这样的病例结果同一个视觉语言模型在选择性获取证据时诊断正确看到全部证据后反而出错。这让研究的问题发生了变化除了提高模型解读证据的能力我们还需要研究模型在什么情况下应该继续获取信息又应该在什么时候停下来。ActiveMedAgent围绕这个问题设计了一套多模态诊断框架。底层模型负责根据已有证据更新诊断外层策略负责决定下一步获取什么信息、是否提交结果。今天这篇推送我们就沿着论文的框架看看这个获取策略是怎么学出来的以及实验到底支持了哪些结论。ActiveMedAgent框架我们先看论文的整体架构。最左侧是按成本组织的诊断信息从初始就能获得的主诉、基本资料到需要进一步请求的检查和影像。论文把每一组可以单独获取的信息称为一个“证据通道”。不同数据集的通道并不相同获取它们的代价也不同。上方的Trajectory Collection是轨迹收集。作者让冻结的视觉语言模型逐步接收证据记录每增加一个通道之后候选诊断的排序如何变化。这些变化会被用来评价这一步获取是否值得。中间的Cost-Aware Policy是获取策略。图中并列比较了三种方案让大模型自行反思、用历史决策示例做上下文学习以及训练一个轻量的PolicyNet控制器。它们是三种可供比较的策略并不需要依次串联起来运行。最下方是处理新病例时的决策循环根据当前诊断状态选择一个尚未获取的通道或者提交已有诊断。每得到一份新证据就重新更新诊断再做下一轮决定。这里的“选择”发生在证据输入这一层决定哪些资料用于当前诊断、按什么顺序获取以及何时停止。学习对象是外层获取策略底层视觉语言模型保持冻结。MedX知识岛看完一篇好论文下一步该做什么找代码、查数据还是尝试复现在MedX知识岛既有医学AI领域最新的顶刊复现也有最全面的公开代码和数据库查询系统注册登录即可免费探索让医工交叉领域的前沿探索不再为代码和数据所困一、获取策略是怎么学出来的如果只是给模型加一句提示词“有必要再检查没必要就停止”其实很容易实现。但模型知道自己什么时候缺证据吗它认为重要的下一项检查真的能改善诊断吗作者先在训练病例中记录决策过程再利用已知的正确答案评价每一步获取带来的实际变化。这样就能用可对照的诊断结果来训练获取策略。第一步记录每次新增证据之后诊断发生了什么变化对于一个训练病例模型先接收初始资料输出一组按可能性排序的候选诊断以及每个候选诊断的置信分数。接着系统逐步揭示新的证据通道让模型重新排序。原来排在后面的正确诊断可能因为一项检查升到了第一位也可能新增的影像没有提供帮助反而把正确诊断挤到了后面。把这些状态连起来就得到论文所说的“诊断信念轨迹”diagnostic belief trajectory。这里记录的内容比“这个病例最后答对了没有”更细。它能让我们看到哪一步缩小了诊断范围哪一步只是增加了信息量哪一步让模型偏离了正确答案。模型输出的置信分数也需要区别看待。它说某个诊断有85%的可能并不代表这类判断真的有85%的正确率。论文主要利用这些分数描述候选诊断之间的相对关系比如第一名和第二名是否接近、整个分布是否仍然分散。第二步用诊断改善和获取成本评价这一步是否值得有了轨迹还需要给每一步决策一个学习信号。论文使用正确诊断的倒数排名来衡量变化。比如正确答案从第5位升到第2位倒数排名就从1/5变成1/2升到第1位则变成1。这样即使模型最后还没有答对正确诊断在候选列表中前移也能得到一定奖励。但提高排名并不是唯一目标。作者还要扣除获取这个通道的成本所以单步效用可以写成单步效用 正确诊断倒数排名的变化 − λ × 归一化获取成本λ用来调节成本在决策中占多大权重。这个设计直接决定了策略学什么一项检查即使让判断更准确如果改善很小、代价很高也不一定得到高效用而一项便宜但没有帮助的检查同样不会因为价格低就受到奖励。因此框架图里虽然画出了成本层级策略也不能简单理解成“永远先选最便宜的”。它要学习的是在当前病例和诊断状态下哪一次获取带来的改善足以抵消成本。需要注意这一步评分使用的是训练病例的真实标签。处理新病例时系统没有正确答案可以对照只能根据已经学到的策略和当前状态做决定。第三步把这些决策经验交给PolicyNet接下来作者用评分后的轨迹训练PolicyNet。它是一个轻量的MLP控制器隐藏层宽度为64和32接收当前决策所需的状态哪些通道已经获取、第一候选诊断的置信分数、前两名的差距、分布的熵、当前步数和累计成本等。具体的证据解读和诊断排序仍由底层视觉语言模型完成。完整版本还加入了初始病例文本的嵌入并利用通道名称嵌入为不同获取动作打分。这样控制器既能看到模型目前有多犹豫也能结合病例内容和剩余通道的类型做选择。它的输出很明确请求某个尚未获取的通道或者选择COMMIT提交当前诊断。训练采用奖励加权模仿学习。高效用的决策获得更大的训练权重负效用的决策被降低权重。大模型的参数始终冻结学习发生在外层控制器中。论文报告PolicyNet本身在CPU上不到两分钟就能完成训练。不过前面收集轨迹需要反复调用视觉语言模型那才是主要开销不能把“两分钟”理解成整个系统的训练成本。作者还设置了两个对照Self-Reflective直接让大模型评价要不要继续Reward-Weighted ICL则检索相近的高效用训练步骤作为示例提供给大模型。后面的实验就是在比较这些方法能否可靠地做出获取和停止决策。新病例来了什么时候停止推理时PolicyNet会根据当前状态选择下一步动作。如果它选择COMMIT系统就提交诊断。除此之外论文还设置了一个停止条件当所有剩余通道的预期收益扣除成本后都不大于零就不再继续获取。预期收益怎么估计主实验使用的是数值估计将候选通道加入已有证据额外调用视觉语言模型观察候选诊断分布的熵是否下降、前两名的置信差距是否扩大。关键词判断只是一个较便宜的备用方案论文消融中它的效果弱于数值估计。这样的估计依赖候选通道本身。主实验是在已有完整资料的回顾性数据上能够重放这些通道现实中一项还没做的检查其结果通常也还不知道。因此从这里的决策循环走到真实诊疗还需要解决未知检查结果下的收益估计问题。论文统计的证据获取成本也没有包含这些额外的模型API调用开销。二、选择证据之后模型真的更准确了吗研究使用了三个数据集NEJM Image Challenge包含947个病例涉及检查、检验和影像信息MIDAS包含635个病例主要是皮肤科近距离照片与皮肤镜资料OLIVES包含1,268个病例提供眼科测量、生物标志物提示和OCT等证据。论文按60%和40%划分训练集与测试集分别使用GPT-4o和GPT-4o-mini作为底层模型。每个底层模型都收集自己的训练轨迹、训练对应的PolicyNet。看结果时我们要分开回答两个问题获取新证据比只看初始资料有没有帮助学会选择证据之后比一次性看完全部资料有没有优势能主动请求检查不等于会正确请求检查先看GPT-4o-mini在NEJM上的表现。只看初始资料、不请求新通道的Passive基线准确率为18.9%让模型零样本地自行决定获取什么证据准确率为18.6%使用PolicyNet后准确率达到31.2%。这组比较说明给模型增加“主动获取”的能力并不会自动带来更好的诊断。它需要学会把信息缺口与合适的证据联系起来也需要避免过早停止。类似现象在另外两个数据集上更明显。GPT-4o-mini在MIDAS上从Passive的24.6%降到零样本获取的20.4%在OLIVES上从29.4%降到23.5%。所以论文真正要验证的是轨迹监督能否改善这些获取决策。模型能够发起一次请求只是完成了动作请求之后诊断有没有变好才是训练策略要关注的事情。与全部证据一次性输入相比收益有多大下面把原文表1中最直接的一组对照整理出来。两种方法使用相同的底层模型、候选诊断和结构化输出要求主要区别在于证据的呈现方式和停止决策。数据集底层模型全部证据输入的准确率PolicyNet的准确率NEJMGPT-4o46.7%48.3%NEJMGPT-4o-mini30.9%31.2%MIDASGPT-4o47.1%47.5%MIDASGPT-4o-mini36.1%37.3%OLIVESGPT-4o41.2%54.2%OLIVESGPT-4o-mini47.1%52.9%六组准确率的点估计都高于全部证据输入但幅度差别很大。比如NEJM上的GPT-4o-mini31.2%对30.9%只差0.3个百分点。这组实验主要体现的是在准确率接近时降低获取成本平均请求通道数从3.0降到2.5按论文设定价格计算的平均获取成本从1,125美元降到706美元约减少37%。这里的通道数不包含初始就提供的资料美元数值也是实验协议给通道设定的价格。到了OLIVES准确率差距就更大GPT-4o从41.2%提高到54.2%GPT-4o-mini从47.1%提高到52.9%。眼科这组结果提示选择性获取的作用可能不只是节省成本还包括减少某些额外证据对模型判断的干扰。接下来论文用具体病例和干扰实验进一步分析了这一点。为什么全部证据输入反而会出错论文图1给出了OLIVES上的一个例子。使用GPT-4o-mini时策略先请求临床测量通道代价为20美元接着请求生物标志物提示代价为100美元。第二步之后正确标签组合升到了候选列表的第一位策略随即停止没有继续请求OCT和额外切片。这条路径使用了2个通道总代价为120美元正确标签排在第1位。全部输入4个通道的对照总代价为570美元正确标签却排在了第4位。这也对应了图中的MRR变化正确标签排在第1位倒数排名就是1排在第4位倒数排名就是1/4即图里写的25%。这个指标反映的是正确标签在候选列表中的位置。这个病例让前面的整体结果变得具体模型已经获得足够线索之后继续加入影像并没有帮助它坚持正确判断反而改变了候选排序。作者汇总的175个病例结果都属于“选择性获取正确、全部输入错误”的情况。它们提示这类视觉语言模型可能处理不好新增证据至于额外检查对患者本身的临床价值还需要另外评价。加入干扰信息后策略还能保持稳定吗作者进一步在NEJM上加入干扰信息测试模型会不会被带偏。原文附录表7中使用GPT-4o时全部证据输入的方法在干净条件下准确率为56.6%加入两个干扰项后降到49.3%PolicyNet对应的准确率从62.1%变成61.7%变化较小。这组结果为“选择证据可以减少干扰”提供了进一步支持。这里使用的是单独的干扰实验协议不能把它的分数直接与前面主表中的标准测试分数混在一起比较。那控制器究竟依靠哪些信息做选择原文表4又做了一组消融回答这个问题。NEJM加入两个干扰项的消融设置准确率完整PolicyNet62.5%去掉病例文本嵌入58.5%去掉通道名称嵌入头60.0%去掉干扰感知训练57.5%同时去掉表中全部被测试的组件52.0%病例文本嵌入被去掉后控制器失去了一部分病例语义通道名称嵌入被去掉后它对不同获取动作的表示也变弱了。两者都会造成性能下降说明仅靠置信度和累计成本还不足以完成这项决策。去掉干扰感知训练同样有明显影响。这与前面的干扰实验相呼应策略需要学习的既包括哪些证据有帮助也包括哪些新增信息可能让当前模型判断变差。把这些结果放在一起看PolicyNet的效果依赖完整的状态表示和轨迹训练单独换上一个小型MLP还得不到同样的收益。三、这篇文章给多模态医学研究带来了什么思路对我来说这篇文章最值得关注的是它把“证据怎样进入模型”单独拿出来研究了。以往做多模态课题我们往往从融合模块入手图像特征和文本特征怎么对齐不同模态怎么交互缺失模态怎么补全。ActiveMedAgent把问题往前推了一步——在当前病例中下一份资料是否有必要获取获取之后是否真的改善了判断一旦把这个过程记录成轨迹我们就可以同时评价诊断结果、获取顺序和停止时机也能检查模型是在某一步缺少了关键证据还是新增信息让它偏离了原来的判断。当然目前的实验仍然建立在预设通道和回顾性数据上。获取成本还没有对应到具体医院的价格、等待时间和患者负担主实验的候选通道重放也需要适配真实的检查流程。少获取之后仍然答对与证明临床上可以安全省略检查是两件需要分别验证的事。底层模型更换之后策略也需要重新评估。论文分别为GPT-4o和GPT-4o-mini训练了控制器并没有证明一个训练好的PolicyNet可以直接迁移到任意新模型。但这项工作的研究问题很明确也值得做多模态课题时认真考虑当我们给模型增加一种新的数据来源除了看最终指标有没有提高还可以追踪它在什么时候提供了帮助、在什么时候造成了干扰以及模型是否学会根据当前证据决定下一步。MedX知识岛看完一篇好论文下一步该做什么找代码、查数据还是尝试复现在MedX知识岛既有医学AI领域最新的顶刊复现也有最全面的公开代码和数据库查询系统注册登录即可免费探索让医工交叉领域的前沿探索不再为代码和数据所困