MedBERT模型

MedBERT是一款基于Transformer架构的新型预训练语言模型，专为生物医学命名实体识别任务设计：该模型以Bio_ClinicalBERT为初始化基础，并在N2C2、BioNLP及CRAFT社区数据集上进行预训练。

预训练过程

数据来源

MedBERT模型的训练数据来自N2C2、BioNLP和CRAFT社区数据集。

训练方法

采用谷歌BERT代码库进行模型训练，参数初始化基于Bio_ClinicalBERT。

超参数配置

预训练采用32的批大小、256的最大序列长度和1·10−4的学习率，共训练200,000步。输入数据通过不同掩码重复5次（dup factor=5），其他参数保持默认（掩码语言模型概率=0.15，单序列最大预测数=22）。

使用方式

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Charangan/MedBERT")
model = AutoModel.from_pretrained("Charangan/MedBERT")

延伸阅读

详见原始论文《MedBERT：面向生物医学命名实体识别的预训练语言模型》（APSIPA会议2022），获取生物医学NER任务的详细性能分析。

引用格式

@INPROCEEDINGS{9980157,
    author={Vasantharajan, Charangan and Tun, Kyaw Zin and Thi-Nga, Ho and Jain, Sparsh and Rong, Tong and Siong, Chng Eng},
    booktitle={2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)},
    title={MedBERT: A Pre-trained Language Model for Biomedical Named Entity Recognition},
    year={2022},
    volume={},
    number={},
    pages={1482-1488},
    doi={10.23919/APSIPAASC55919.2022.9980157}
}