language: zh
tags:

• 文本摘要
• 医疗
  library_name: transformers
  pipeline_tag: summarization

基于大语言模型的PET报告个性化印象自动生成系统 📄✍

作者: 谢鑫、Muheon Shin、Ali Pirasteh、Nevein Ibrahim、Zachary Huemann、Sharon M. Castellino、Kara Kelly、John Garrett、胡俊杰、Steve Y. Cho、Tyler J. Bradshaw

📑 模型描述

本模型是专用于PET报告发现部分摘要生成的微调版PEGASUS模型。

其他用于PET报告摘要的微调大语言模型：

• BERT2BERT-PET
• BART-PET
• BioBART-PET
• PEGASUS-PET
• T5v1.1-PET
• Clinical-T5-PET
• Flan-T5-PET
• GPT2-XL-PET
• OPT-1.3B-PET
• LLaMA-LoRA-PET
• Alpaca-LoRA-PET

📑 摘要

目的：验证微调大语言模型能否生成准确且个性化的全身PET报告印象。

材料与方法：使用37,370份2010-2022年PET报告训练12个语言模型，采用教师强制算法，以检查发现为输入、临床印象为参考。通过特殊标记编码医师身份使模型学习个性化报告风格。通过30项指标与两位核医学医师评分对比筛选最优模型，最终由三位专家从6个质量维度和5分制效用值评估模型生成印象。

结果：领域适配的BARTScore和PEGASUSScore与医师偏好相关性最高（Spearman's ρ=0.568/0.563）。微调PEGASUS模型生成的个性化印象临床接受率达89%，平均效用值4.08/5，与其他医师书写印象效用相当（4.03，P=0.41）。

结论：PEGASUS生成的个性化印象具有临床实用性，可显著提升PET报告效率。

阅读全文

🚀 使用指南

finetuned_model = "xtie/PEGASUS-PET-impression"  
tokenizer = AutoTokenizer.from_pretrained(finetuned_model)   
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()  

findings_info =  
"""  
检查类型: 全身PET-CT  
放射医师: James  
检查发现:  
头颈部: xxx 胸部: xxx 腹部/盆腔: xxx 四肢/肌肉骨骼: xxx  
临床指征:  
60岁男性患者，既往有xxx病史  
"""  

inputs = tokenizer(findings_info.replace('\n', ' '),  
                 padding="max_length",  
                 truncation=True,  
                 max_length=1024,  
                 return_tensors="pt")  
outputs = model.generate(input_ids,  
                       attention_mask=attention_mask,  
                       max_new_tokens=512,   
                       num_beams=4,  
                       length_penalty=2.0,  
                       no_repeat_ngram_size=3)  
output_str = tokenizer.decode(outputs, skip_special_tokens=True)  

📊 性能指标

详细评估结果参见论文：

• ROUGE-1: 53.8
• ROUGE-2: 30.9
• ROUGE-L: 40.0
• BLEU: 24.7
• BERTScore: 0.744

💡 亮点

• 首个全身PET报告自动摘要生成系统
• 支持学习不同医师的个性化报告风格

🖥️ 硬件

训练设备：NVIDIA A100 GPU

📁 附加资源

• 基础模型: Google PEGASUS Large
• 训练代码库: GitHub仓库