HAIAs多模态辅助决策智能体
HAIAs多模态辅助决策智能体是一套面向医学科研与临床转化的一体化方法体系，围绕症状信息、实验室检验指标及医学影像等多源临床数据开展联合建模与诊疗推断研究。系统通过挖掘不同模态之间的关联关系与协同信息，提升对复杂疾病的风险识别、辅助诊断及诊疗推荐能力。在不增加额外检查负担的前提下，实现对患者的前置风险评估与分层判断。该系统强调与真实临床流程的适配性，具备较强的可扩展性与转化潜力，可支持从早筛、诊断到治疗推荐的连续性研究与应用。
主要功能
智能辅助诊断
- 融合影像、病历、检验、病理等多模态信息
- 识别疾病特征、高亮病灶区域并输出辅助诊断意见
个体化治疗建议
- 结合患者分型、病程与风险特征生成治疗建议
- 支持诊疗路径推荐
预后预测与风险分层
- 预测疾病进展、复发风险及治疗响应
- 支持患者分层管理与随访策略制定
影像-文本双向质控
- 自动校验影像表现与报告描述是否一致
- 发现漏写、误写、冲突及关键信息缺失
临床决策支持与总结
- 自动汇总多源临床信息并生成结构化结论
- 提供面向医生的可追溯决策依据与提示
核心优势
零标注启动
无需人工精细标注，即可完成模型学习与应用
低成本高价值
从常规低成本数据中提取高价值临床信息
多模态联合推理
融合影像、文本、检验等信息，决策更全面
影文互证质控
影像与文本交叉校验，降低错漏与偏差
临床场景适配
覆盖辅助诊断、治疗建议、预后评估等流程
结果可解释
输出依据清晰，便于医生理解、核验与使用
成功案例与荣誉
胃癌多模态无创风险评估
与精准胃镜筛查一体化技术体系构建及应用研究
辽宁省肿瘤医院
项目介绍
多模态临床信息
疾病早筛
精准治疗推荐
当前胃癌仍面临早期症状不典型、主动筛查率有限、优质胃镜资源相对紧张等问题，导致部分高危人群未能被及时识别。尽管胃镜仍是重要诊断依据，但其侵入性、患者接受度及资源可及性等因素限制了大范围前移筛查的实施效果。与此同时，传统风险评估方法多依赖少量结构化变量或单一危险因素，难以充分整合病例、检验和影像等多源临床信息，其在真实世界场景中的精准识别能力仍有提升空间。因此本项目围绕胃癌高危人群早期发现与胃镜检查优先级辅助决策，构建了基于多模态临床数据的辅助分析能力。该方法整合患者真实就诊过程中已形成的病例文本、实验室检验指标、胸腹部计算机断层扫描（Computed Tomography，CT）影像及相关检查结果，在不额外增加患者检查负担的前提下，对胃癌风险进行综合评估与分层判断。
核心亮点
- 多模态特征差异提取
- 关键决策特征可解释
- 跨模态特征关联融合
常见问题
多模态辅助决策智能体是什么？
它是一个能同时理解多种数据（如影像、结构化指标、文本病历、检验检查结果）的智能系统，用于给出风险评估、分层建议和决策参考，帮助医生/业务人员更快更稳地完成判断。
多模态辅助决策智能体能处理哪些数据？
常见支持 DR/CT/MRI/超声影像、病理图像等2D/3D数据、包含主诉现病史等信息的非结构化文本数据、实验室检验等结构化数据，都可以被输入到多模态辅助决策智能体中进行分析。
多模态辅助决策智能体能做什么？
它能通过多源证据整合，来实现术前风险分层、疑难病例预警、MDT 会诊辅助和早筛预警，帮助更早识别高风险患者，并给出候选结论与置信度，辅助医生进行决策。
为什么需要多模态辅助决策智能体？
专家的决策从来不是依赖单一信息源——资深医生需要同时整合影像、检验数据、病史记录才能做出判断；同理，复杂决策的证据分布在不同模态之中，需要多模态智能体来承载这种跨模态的综合推理能力。
多模态辅助决策智能体输出的结果包含什么？
通常包括预测结论（如分型/风险等级）、置信度、关键证据点、可解释性提示（关注区域/重要特征）以及下一步建议（复核、补充检查、转诊建议等）。
在缺失部分特征的情况下，多模态辅助决策智能体是否可以正常给出决策建议？
可以。因为为了提高该智能体的稳定性，在其训练的过程中，已经通过特征掩码等操作，让该智能体学习在缺失特征的情况下输出决策建议。
多模态辅助决策智能体输出的结果是可解释的吗？
可以。系统可提供关键特征贡献、热力图、相似案例参考与规则触发说明，便于追溯“为什么给出这个建议”，比如在影像中定位到关键的病灶位置，在文本中定位出关键的指标或症状等。
辽公网安备 21011202000133号
