语言: "葡萄牙语" 小部件:

• 文本: "患者收到了医院的[MASK]。"
• 文本: "医生开了控制[MASK]的药物。"

缩略图: "https://raw.githubusercontent.com/HAILab-PUCPR/BioBERTpt/master/images/logo-biobertpr1.png"

BioBERTpt - 葡萄牙语临床与生物医学BERT模型

论文BioBERTpt - 一种用于临床命名实体识别的葡萄牙语神经网络语言模型介绍了基于BERT架构的葡萄牙语临床与生物医学模型，该模型以多语言BERT为基础，通过临床记录和生物医学文献进行训练。

本模型卡描述的是BioBERTpt(clin)版本，这是BioBERTpt的临床专用变体，训练数据来自巴西医院电子健康档案中的临床叙述文本。

如何使用该模型

通过transformers库加载模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("pucpr/biobertpt-clin")
model = AutoModel.from_pretrained("pucpr/biobertpt-clin")

更多信息

关于葡萄牙语NER任务性能的详细说明，请参阅原始论文BioBERTpt - 一种用于临床命名实体识别的葡萄牙语神经网络语言模型。

致谢

本研究部分由巴西高等教育人才提升协调会(CAPES)资助 - 财政代码001。

引用

@inproceedings{schneider-etal-2020-biobertpt,
    title = "{B}io{BERT}pt - 一种用于临床命名实体识别的葡萄牙语神经网络语言模型",
    author = "Schneider, Elisa Terumi Rubel 等",
    booktitle = "第三届临床自然语言处理研讨会论文集",
    month = 11,
    year = "2020",
    address = "线上",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2020.clinicalnlp-1.7",
    pages = "65-72",
    abstract = "随着电子健康档案数据的增长，临床NLP任务对解锁非结构化临床文本中的价值信息愈发重要。尽管英语语料库中命名实体识别(NER)等下游NLP任务性能近期因上下文语言模型得到提升，但针对低资源语言临床文本的研究仍较少。我们的目标是评估葡萄牙语深度上下文嵌入模型BioBERTpt在支持临床和生物医学NER方面的表现。通过将多语言BERT模型的学习信息迁移至巴西葡萄牙语的临床叙述和生物医学科学论文语料库。在包含临床叙述的两个标注语料库上进行NER实验后，我们的领域专用模型F1分数比基线模型提升2.72%，在13个评估实体中有11个表现更优。研究表明，用领域文献增强上下文嵌入模型能显著提升特定NLP任务性能。这种迁移学习方法通过减少标注数据需求和避免全模型重训练，优化了葡萄牙语生物医学NER模型。",
}

问题咨询？

请在BioBERTpt代码库提交GitHub issue。