language: "en" tags:

• 填充掩码 license: mit

ClinicalBERT - 生物医学+临床BERT模型

公开可用的临床BERT嵌入论文包含四个独特的clinicalBERT模型：使用BERT-Base（cased_L-12_H-768_A-12）或BioBERT（BioBERT-Base v1.0 + PubMed 200K + PMC 270K）初始化，并在所有MIMIC笔记或仅出院摘要上进行训练。

此模型卡描述了Bio+Clinical BERT模型，该模型从BioBERT初始化，并在所有MIMIC笔记上进行训练。

预训练数据

Bio_ClinicalBERT模型在MIMIC III的所有笔记上进行训练，这是一个包含波士顿贝斯以色列医院ICU患者电子健康记录的数据库。有关MIMIC的更多详细信息，请参见此处。包括NOTEEVENTS表中的所有笔记（约8.8亿字）。

模型预训练

笔记预处理

MIMIC中的每个笔记首先使用基于规则的分段器分成多个部分（例如，出院摘要笔记被分成“现病史”、“家族史”、“简要住院过程”等部分）。然后使用SciSpacy（en core sci md分词器）将每个部分分成句子。

预训练过程

该模型使用Google的BERT仓库中的代码在GeForce GTX TITAN X 12 GB GPU上进行训练。模型参数使用BioBERT（BioBERT-Base v1.0 + PubMed 200K + PMC 270K）初始化。

预训练超参数

我们使用批量大小为32，最大序列长度为128，学习率为5·10−5来预训练我们的模型。在所有MIMIC笔记上训练的模型训练了150,000步。用于通过不同掩码复制输入数据的dup因子设置为5。所有其他默认参数均被使用（具体来说，掩码语言模型概率=0.15，每个序列的最大预测数=20）。

如何使用该模型

通过transformers库加载模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")

更多信息

参考原始论文公开可用的临床BERT嵌入（NAACL Clinical NLP Workshop 2019）以获取更多详细信息以及在NLI和NER任务上的表现。

有问题吗？

在clinicalBERT仓库上发布Github问题或发送电子邮件至ealsentzer@stanford.edu。