license: apache-2.0 pipeline_tag: image-text-to-text base_model:

• meta-llama/Llama-3.2-3B-Instruct
• microsoft/rad-dino base_model_relation: merge library_name: transformers tags:
• RRG
• 放射学报告生成
• 胸部X光
• 多模态大语言模型

Libra模型卡

版本: Libra-v1.0

概述

这是一个用于放射学报告生成的小型多模态语言模型，遵循与Libra相同的训练策略。该模型能够生成包含时间对比（例如将当前胸部X光与既往影像进行比较）的详细《发现》章节。Libra整合了以下核心组件：

• RAD-DINO：基于医学影像数据集预训练的视觉编码器，用于从胸部X光中提取稳健特征
• Llama-3.2-3B-Instruct：基于Llama-3.2架构的30亿参数语言模型。该指令微调版本专为多语言对话场景优化，支持代理检索和摘要生成任务
• 时序对齐连接器(TAC)：定制化适配器，可融合多时间点特征以实现时序对比

本模型卡详细说明了Libra的架构设计、训练方法、使用限制及推荐应用指南。

论文与资源

有关Libra方法论、理论基础与性能基准的详细信息，请参阅以下资源：

• 项目网站: Libra v1.0
• 论文: arXiv:2411.19378
• 代码仓库: X-iZhang/Libra (GitHub)

或体验我们的在线演示！

训练策略

Libra采用两阶段训练流程：

1. 时序特征对齐

   • 训练TAC模块实现不同时间点（当前与历史胸部X光）特征的有效融合与对齐
   • 重点捕捉显著性变化（如肺部阴影演变、医疗设备位置变动等）

2. 放射学报告生成微调

   • 基于大规模胸部X光-报告配对数据微调语言模型
   • 着重优化《发现》章节生成能力，特别是包含时序描述的内容

应用场景

Libra主要设计用于辅助临床医师、研究人员及医学生生成胸部X光报告，核心应用包括：

• 临床决策支持：提供可供放射科医师完善的报告草案
• 教学工具：为放射科住院医师演示影像解读及时序变化分析范例
• 科研应用：推动医学影像自动报告生成及时序特征学习的研究

重要提示：所有输出结果必须经执业放射科医师或医疗专业人员审核后方可用于临床决策

限制与建议

1. 数据偏差：对少数族裔或罕见病种的识别可靠性可能降低
2. 临床监督：必须由医疗专业人员验证结果——不可替代专业医学判断
3. 时序误差：TAC模块虽专注时序对齐，但细微或不典型变化可能漏诊
4. 泛化能力：对训练数据未覆盖的X光类型或病症识别效果有限

伦理考量

• 患者隐私：确保数据完全去标识化，符合HIPAA/GDPR等隐私法规
• 责任使用：谨慎部署模型输出，其内容不保证绝对准确
• 权责归属：用户及机构需对临床准确性与安全性承担验证责任

引用规范 ✒️

学术或研究中引用Libra时请使用：

@misc{zhang2025libraleveragingtemporalimages,
      title={Libra: Leveraging Temporal Images for Biomedical Radiology Analysis}, 
      author={Xi Zhang and Zaiqiao Meng and Jake Lever and Edmond S. L. Ho},
      year={2025},
      eprint={2411.19378},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.19378}, 
}

免责声明：

本工具仅限研究与教育用途，未获得FDA或CE临床使用认证。任何临床决策均应咨询专业医疗人员。