临床版BigBird是基于BigBird架构、通过MIMIC-III临床记录进一步预训练的医学知识增强模型。该模型支持高达4096个标记的输入长度，在10个基准数据集上全面超越ClinicalBERT模型，下游任务覆盖命名实体识别（NER）、问答系统（QA）、自然语言推理（NLI）及文本分类。详见研究论文。另提供姊妹模型临床版Longformer。

预训练过程

模型以BigBird基础版预训练权重为初始参数，在6块32GB Tesla V100 GPU上采用FP16精度并行训练。经过30万步训练（批量大小6×2，学习率3e-5），全程耗时逾两周完成。

使用方式

通过Transformers库直接加载：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("yikuan8/Clinical-BigBird")
model = AutoModelForMaskedLM.from_pretrained("yikuan8/Clinical-BigBird")

引用规范

若使用本模型，请引用：

@article{li2022clinical,
  title={Clinical-Longformer and Clinical-BigBird: Transformers for long clinical sequences},
  author={Li, Yikuan and Wehbe, Ramsey M and Ahmad, Faraz S and Wang, Hanyin and Luo, Yuan},
  journal={arXiv preprint arXiv:2201.11838},
  year={2022}
}

咨询联系

邮件至 yikuanli2018@u.northwestern.edu