🚀 RadBERT-RoBERTa-4m

RadBERT-RoBERTa-4m是我们RadBERT模型的一个变体，它使用来自美国退伍军人事务部（VA）医院的400万份去标识化医疗报告进行训练。相较于BioBERT、Clinical-BERT、BLUE-BERT和BioMed-RoBERTa等先前的医学领域模型，该模型在医学语言理解方面表现更为出色。

🚀 快速开始

本模型在以下三项任务中进行了性能评估：

• 异常句子分类：将放射学报告中的句子分类为报告异常或正常发现。
• 报告编码：为给定的放射学报告分配五种不同编码系统的诊断代码。
• 报告摘要：给定放射学报告的检查结果部分，提取总结检查结果的关键句子。

如需了解更多详细信息，请查看论文：RadBERT: Adapting transformer-based language models to radiology

论文代码已发布在 GitHub仓库。

💻 使用示例

基础用法

以下是一个在PyTorch中使用该模型提取给定文本特征的示例：

from transformers import AutoConfig, AutoTokenizer, AutoModel
config = AutoConfig.from_pretrained('zzxslp/RadBERT-RoBERTa-4m')
tokenizer = AutoTokenizer.from_pretrained('zzxslp/RadBERT-RoBERTa-4m')
model = AutoModel.from_pretrained('zzxslp/RadBERT-RoBERTa-4m', config=config)
text = "Replace me by any medical text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

📄 许可证

BibTeX引用和引用信息

如果您使用该模型，请引用我们的论文：

@article{yan2022radbert,
  title={RadBERT: Adapting transformer-based language models to radiology},
  author={Yan, An and McAuley, Julian and Lu, Xing and Du, Jiang and Chang, Eric Y and Gentili, Amilcare and Hsu, Chun-Nan},
  journal={Radiology: Artificial Intelligence},
  volume={4},
  number={4},
  pages={e210258},
  year={2022},
  publisher={Radiological Society of North America}
}