language: zh
tags:

• 文本摘要
• 医疗
  library_name: transformers
  pipeline_tag: summarization

基于大语言模型的PET报告个性化印象自动生成 📄✍

作者: 谢鑫、申武铉、Ali Pirasteh、Nevein Ibrahim、Zachary Huemann、Sharon M. Castellino、Kara Kelly、John Garrett、胡俊杰、Steve Y. Cho、Tyler J. Bradshaw

📑 模型描述

这是用于PET报告发现总结的微调版Clinical-T5模型。

查看我们用于PET报告摘要的微调大语言模型(LLMs):

• BERT2BERT-PET
• BART-PET
• BioBART-PET
• PEGASUS-PET
• T5v1.1-PET
• Clinical-T5-PET
• Flan-T5-PET
• GPT2-XL-PET
• OPT-1.3B-PET
• LLaMA-LoRA-PET
• Alpaca-LoRA-PET

📑 摘要

目的：验证微调后的大语言模型能否为全身PET报告生成准确、个性化的印象。

材料与方法：使用教师强制算法在PET报告语料库上训练12个语言模型，以报告发现作为输入，临床印象作为参考。额外输入标记编码阅片医师身份，使模型学习医师特异性报告风格。语料库包含2010-2022年间从本机构收集的37,370份回顾性PET报告。为筛选最佳LLM，30项评估指标与两位核医学(NM)医师的质量评分进行基准测试，选择最匹配指标对应的模型进行专家评估。三位NM医师根据6个质量维度和整体效用评分(5分制)评估模型生成印象与原始临床印象。每位医师审阅12份自身报告和12份其他医师报告。采用Bootstrap重采样进行统计分析。

结果：在所有评估指标中，领域适配的BARTScore和PEGASUSScore与医师偏好显示出最高的Spearman ρ相关性(0.568和0.563)。基于这些指标，微调后的PEGASUS模型被选为最佳LLM。当医师审阅PEGASUS以自身风格生成的印象时，89%被认为临床可接受，平均效用得分4.08/5。医师评价这些个性化印象的整体效用与其他医师口述印象相当(4.03，P=0.41)。

结论：PEGASUS生成的个性化印象具有临床实用性，展现了加速PET报告的潜力。

阅读全文

🚀 使用方式

finetuned_model = "xtie/ClinicalT5-PET-impression"  
tokenizer = AutoTokenizer.from_pretrained(finetuned_model)   
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()  

findings_info =  
"""  
检查项目: 全身PET-CT  
放射科医师: James  
发现:  
头颈部: xxx 胸部: xxx 腹部/盆腔: xxx 四肢/肌肉骨骼: xxx  
检查指征:  
患者为60岁男性，有xxx病史  
"""  

inputs = tokenizer(findings_info.replace('\n', ' '),  
                  padding="max_length",  
                  truncation=True,  
                  max_length=1024,  
                  return_tensors="pt")  
input_ids = inputs.input_ids.to("cuda")  
attention_mask = inputs.attention_mask.to("cuda")  
outputs = model.generate(input_ids,  
                        attention_mask=attention_mask,  
                        max_new_tokens=512,   
                        num_beam_groups=1,  
                        num_beams=4,   
                        do_sample=False,  
                        diversity_penalty=0.0,  
                        num_return_sequences=1,   
                        length_penalty=2.0,  
                        no_repeat_ngram_size=3,  
                        early_stopping=True  
                        )  
# 获取生成印象  
output_str = tokenizer.decode(outputs,  
                              skip_special_tokens=True)   

📊 性能指标

详细评估结果请参阅论文：

• ROUGE-1: 53.2
• ROUGE-2: 30.1
• ROUGE-L: 39.4
• BLEU: 23.9
• BERTScore: 0.743

💡 亮点

• 微调后的大语言模型能基于PET发现生成具有临床实用性的个性化印象
• 据我们所知，这是首次实现全身PET报告印象自动生成的尝试

🖥️ 硬件

模型在NVIDIA A100 GPU上训练完成

📁 附加资源

• 基础模型: Clinical T5-Large
• 训练与推理代码库: GitHub仓库