language: "en" tags:

• fill-mask license: mit

ClinicalBERT - 生物医学+出院摘要BERT模型

公开可用的临床BERT嵌入论文包含四个独特的clinicalBERT模型：基于BERT-Base（cased_L-12_H-768_A-12）或BioBERT（BioBERT-Base v1.0 + PubMed 200K + PMC 270K）初始化，并在所有MIMIC笔记或仅出院摘要上进行训练。

本模型卡描述了Bio+出院摘要BERT模型，该模型从BioBERT初始化，并仅在MIMIC的出院摘要上进行训练。

预训练数据

Bio_Discharge_Summary_BERT模型在MIMIC III的所有出院摘要上进行训练，这是一个包含波士顿贝斯以色列医院ICU患者电子健康记录的数据库。有关MIMIC的更多详情，请参见此处。来自NOTEEVENTS表的所有笔记均被包含在内（约8.8亿词）。

模型预训练

笔记预处理

MIMIC中的每个笔记首先使用基于规则的分段器进行分段（例如，出院摘要笔记被分为“现病史”、“家族史”、“简要住院过程”等部分）。然后，每个部分使用SciSpacy（en core sci md分词器）拆分为句子。

预训练过程

模型使用Google的BERT仓库中的代码，在一块GeForce GTX TITAN X 12 GB GPU上进行训练。模型参数使用BioBERT（BioBERT-Base v1.0 + PubMed 200K + PMC 270K）初始化。

预训练超参数

我们使用批量大小为32，最大序列长度为128，学习率为5·10−5来预训练我们的模型。在所有MIMIC笔记上训练的模型训练了150,000步。用于通过不同掩码复制输入数据的重复因子设置为5。所有其他默认参数均被使用（具体而言，掩码语言模型概率=0.15，每个序列的最大预测数=20）。

如何使用该模型

通过transformers库加载模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_Discharge_Summary_BERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_Discharge_Summary_BERT")

更多信息

参考原始论文公开可用的临床BERT嵌入（NAACL临床NLP研讨会2019）以获取更多详情及在NLI和NER任务上的表现。

有问题？

在clinicalBERT仓库上提交Github问题，或发送邮件至emilya@mit.edu咨询任何问题。