许可证: openrail
语言:

• 英语
  任务标签: 填充掩码
  标签:
• 生物学
• 医学
  小部件示例:
• 文本: "术后检查一切良好。伤口已愈合。检查无[MASK]。微芯片工作正常。签字确认，如有担忧请复查。"
  示例标题: "术后复查"
• 文本: "另外两只八齿鼠近期不适，希望为这只做健康检查，目前状况与年龄相符，血糖[MASK]3.8。建议重新称重并监测体重。"
  示例标题: "血糖检测"

兽医临床任务预训练模型VetBERT

此模型源自GitHub仓库的预训练VetBERT模型：https://github.com/havocy28/VetBERT

该预训练模型专为处理兽医临床笔记的NLP任务设计。论文《兽医临床笔记疾病综合征分类的领域适应与实例选择》（Hur等，BioNLP 2020）提出了VetBERT模型：该模型以ClinicalBERT（生物+临床BERT）为基础初始化，并进一步在澳大利亚VetCompass语料库上预训练，用于执行兽医医学特定任务。论文中讨论了VetBERTDx——针对疾病分类任务微调后的VetBERT版本。

预训练数据

VetBERT模型初始化自Bio_ClinicalBERT模型，后者又源自BERT。VetBERT训练数据包含超过1500万条兽医临床记录和13亿个词元。

预训练超参数

VetBERT预训练阶段采用批量大小32、最大序列长度512、学习率5×10⁻⁵。输入数据重复掩码的复制因子设为5，其他参数保持默认（掩码语言模型概率0.15，每序列最大预测数20）。

VetBERT微调

如论文所述，VetBERT在5002条标注临床笔记上进一步微调，用于分类临床笔记相关的疾病综合征。

模型使用方法

通过transformers库加载模型：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("havocy28/VetBERT")
model = AutoModelForMaskedLM.from_pretrained("havocy28/VetBERT")

VetBERT_masked = pipeline("fill-mask", model=model, tokenizer=tokenizer)
VetBERT('疑似肺炎，需进行[MASK]检查，期间将开具抗生素处方')

引用文献

请引用：Brian Hur, Timothy Baldwin, Karin Verspoor, Laura Hardefeldt, James Gilkerson. 2020. 《兽医临床笔记疾病综合征分类的领域适应与实例选择》。发表于第19届生物医学语言处理SIGBioMed研讨会论文集，第156-166页，线上会议。计算语言学协会。