language:

• es tags:
• 生物医学
• 临床
• 电子健康记录
• 西班牙语 license: apache-2.0 metrics:
• 困惑度 widget:
• text: "唯一需要提及的个人病史是动脉。"
• text: "全身骨放射学检查未发现异常，也未发现脊椎异常。"
• text: "在胸腹盆部检查中未发现具有病理意义的异常。"

西班牙语生物医学临床语言模型

目录

模型描述

西班牙语生物医学预训练语言模型。关于语料库、预训练和评估的更多细节，请查看官方代码库。

预期用途与限制

该模型目前仅支持掩码语言建模任务（可通过推理API或下一节介绍的方式尝试填空任务）。但该模型设计初衷是用于下游任务微调，如命名实体识别或文本分类。

使用方法

局限性与偏差

在提交时尚未采取具体措施评估模型内嵌的偏差。但我们充分意识到，由于语料是通过网络爬虫技术从多个来源收集的，模型可能存在偏差。我们计划未来开展相关研究，若完成研究将更新本模型卡。

训练过程

分词与模型预训练

本模型是基于RoBERTa架构的模型，训练数据来自西班牙语生物医学-临床混合语料库（详见下节）。训练语料采用原始RoBERTA模型的字节级字节对编码(BPE)进行分词，词汇表含52,000个token。预训练采用与RoBERTa基础模型相同的超参数配置，在子词级别进行掩码语言建模。使用16块16GB显存的NVIDIA V100 GPU训练48小时，采用Adam优化器（峰值学习率0.0005），有效批次大小为2,048句。

训练语料与预处理

训练语料由多个西班牙语生物医学语料库和真实临床语料组成（包含超过27.8万份临床文档和记录）。为在保留临床语言特性的同时保证质量，仅对生物医学语料进行清洗处理，临床语料保持原始状态。清洗流程主要包括：

• 多格式数据解析
• 句子分割
• 语言检测
• 过滤畸形句子
• 去重重复内容
• 保留原始文档边界

生物医学语料经全局去重后，与未清洗的临床语料合并，最终形成包含超过10亿token的西语生物医学-临床混合语料库。下表显示各清洗后语料的基本统计信息：

评估结果

模型在三个临床命名实体识别(NER)任务上进行了微调评估：

• PharmaCoNER：西班牙医学文本中化学药物提及识别任务
• CANTEMIST：西班牙语肿瘤形态学命名实体识别任务
• ICTUSnet：包含18家西班牙医院1,006份卒中患者出院报告，含79,000余条51类变量标注

我们将NER任务建模为token分类问题，采用标准线性层和BIO标注方案。对比模型包括：西语通用模型roberta-base-bne、支持西语的多语言通用模型mBERT、英语领域模型BioBERT，以及三个基于持续预训练的领域模型mBERT-Galén、XLM-R-Galén和BETO-Galén。F1分数对比如下：

微调脚本详见官方GitHub代码库。

附加信息

作者

巴塞罗那超级计算中心文本挖掘单元(bsc-temu@bsc.es)

联系方式

如需更多信息，请发送邮件至plantl-gob-es@bsc.es

版权声明

版权归属西班牙数字化与人工智能国务秘书处(SEDIA)(2022年)

许可信息

Apache许可证2.0版

资助方

本工作由西班牙数字化与人工智能国务秘书处(SEDIA)在Plan-TL框架下资助

引用方式

若使用本模型，请引用我们的工作：

@inproceedings{carrino-etal-2022-pretrained,
    title = "Pretrained Biomedical Language Models for Clinical {NLP} in {S}panish",
    author = "Carrino, Casimiro Pio  and
      Llop, Joan  and
      P{\`a}mies, Marc  and
      Guti{\'e}rrez-Fandi{\~n}o, Asier  and
      Armengol-Estap{\'e}, Jordi  and
      Silveira-Ocampo, Joaqu{\'\i}n  and
      Valencia, Alfonso  and
      Gonzalez-Agirre, Aitor  and
      Villegas, Marta",
    booktitle = "Proceedings of the 21st Workshop on Biomedical Language Processing",
    month = may,
    year = "2022",
    address = "Dublin, Ireland",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.bionlp-1.19",
    doi = "10.18653/v1/2022.bionlp-1.19",
    pages = "193--199",
    abstract = "This work presents the first large-scale biomedical Spanish language models trained from scratch, using large biomedical corpora consisting of a total of 1.1B tokens and an EHR corpus of 95M tokens. We compared them against general-domain and other domain-specific models for Spanish on three clinical NER tasks. As main results, our models are superior across the NER tasks, rendering them more convenient for clinical NLP applications. Furthermore, our findings indicate that when enough data is available, pre-training from scratch is better than continual pre-training when tested on clinical tasks, raising an exciting research question about which approach is optimal. Our models and fine-tuning scripts are publicly available at HuggingFace and GitHub.",
}

免责声明