语言: "pt" 小部件:

• 文本: "患者从医院收到了[MASK]。"
• 文本: "医生开了药来控制[MASK]。"
• 文本: "COVID-19的主要[MASK]是干咳。"
• 文本: "流感病毒的[MASK]由核糖核酸片段组成。"

缩略图: "https://raw.githubusercontent.com/HAILab-PUCPR/BioBERTpt/master/images/logo-biobertpr1.png"

BioBERTpt - 葡萄牙语临床与生物医学BERT模型

BioBERTpt - 一种用于临床命名实体识别的葡萄牙语神经网络语言模型论文介绍了基于BERT的葡萄牙语临床与生物医学模型，该模型以BERT多语言版为基础，并在临床记录和生物医学文献上进行了训练。

本模型卡描述了BioBERTpt(all)模型，这是一个包含葡萄牙语临床叙述和生物医学文献的完整版本。

如何使用该模型

通过transformers库加载模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("pucpr/biobertpt-all")
model = AutoModel.from_pretrained("pucpr/biobertpt-all")

更多信息

参考原始论文BioBERTpt - 一种用于临床命名实体识别的葡萄牙语神经网络语言模型获取更多细节及葡萄牙语NER任务的性能表现。

致谢

本研究部分由巴西高等教育人才提升协调会(CAPES)资助，资金代码001。

引用

@inproceedings{schneider-etal-2020-biobertpt,
    title = "{B}io{BERT}pt - 一种用于临床命名实体识别的葡萄牙语神经网络语言模型",
    author = "Schneider, Elisa Terumi Rubel 等",
    booktitle = "第三届临床自然语言处理研讨会论文集",
    month = 11月,
    year = "2020",
    address = "线上",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2020.clinicalnlp-1.7",
    pages = "65--72",
    abstract = "随着电子健康记录数据的增长，临床自然语言处理任务对于从非结构化临床文本中提取有价值信息变得越来越重要。尽管英语语料库中的下游NLP任务（如命名实体识别）性能近期通过上下文语言模型有所提升，但对低资源语言临床文本的研究较少。我们的目标是评估一个名为BioBERTpt的葡萄牙语深度上下文嵌入模型，以支持临床和生物医学命名实体识别。我们将多语言BERT模型中编码的学习信息迁移至巴西葡萄牙语的临床叙述和生物医学科学论文语料库。为评估BioBERTpt的性能，我们在两个包含临床叙述的标注语料库上进行了NER实验，并将结果与现有BERT模型进行了比较。我们的领域内模型在F1分数上比基线模型高出2.72%，在13个评估实体中有11个表现更优。我们证明，用领域文献丰富上下文嵌入模型可以显著提升特定NLP任务的性能。迁移学习过程通过减少标注数据需求和完全重新训练模型的需求，增强了葡萄牙语生物医学NER模型。",
}

问题？

请在BioBERTpt仓库提交GitHub issue。