语言:

• 西班牙语 标签:
• 生物医学
• 临床
• 西班牙语 许可证: Apache-2.0 指标:
• 困惑度（ppl） 示例:
• 文本: "唯一值得提及的个人病史是动脉。"
• 文本: "全身骨骼X光检查未发现异常，亦无脊椎病变。"
• 文本: "胸腹盆部检查未发现具有临床意义的病理学表现。"

西班牙语生物医学语言模型

目录

模型描述

西班牙语生物医学预训练语言模型。关于语料库、预训练及评估的详细信息，请参阅官方代码库。

预期用途与限制

该模型目前仅适用于掩码语言建模任务（如填空任务，可通过推理API或下一节介绍的方式体验）。但更适用于下游任务的微调，例如命名实体识别或文本分类。

使用方法

局限性与偏差

当前版本尚未对模型潜在偏差进行量化评估。需要注意的是，由于训练语料通过多源网络爬取技术收集，模型可能存在偏差。我们计划未来开展相关研究，届时将更新本模型卡。

训练过程

分词与模型预训练

本模型基于RoBERTa架构，在西班牙语生物医学语料上训练而成。训练语料采用原始RoBERTA模型的字节级字节对编码(BPE)分词技术，词汇表含52,000个词元。预训练采用与RoBERTa基础模型相同的超参数配置，在子词级别进行掩码语言建模。使用16块NVIDIA V100（16GB DDRAM）GPU训练48小时，采用Adam优化器（峰值学习率0.0005），有效批次大小为2,048句。

训练语料与预处理

训练语料由多个公开可获取的西班牙语生物医学语料组成，经过以下清洗流程：

• 多格式数据解析
• 句子分割
• 语言检测
• 过滤格式异常句子
• 去除重复内容
• 保留原始文档边界

最终语料经过去重处理后包含约9.63亿词元。下表展示各清洗后语料的基本统计信息：

评估

模型在三个临床命名实体识别(NER)任务上进行了微调评估：

• PharmaCoNER：西班牙医学文本中的化学与药物提及识别任务
• CANTEMIST：西班牙语肿瘤形态学术语识别任务
• ICTUSnet：包含18家西班牙医院1,006份卒中患者出院报告，含51类变量超过79,000条标注

我们采用标准线性层结合BIO标注方案处理NER任务，与以下模型对比：

• 通用西语模型roberta-base-bne
• 支持西语的多语言通用模型mBERT
• 英文领域模型BioBERT
• 基于持续预训练的领域模型mBERT-Galén、XLM-R-Galén和BETO-Galén

F1分数对比结果如下：

微调脚本详见官方GitHub代码库。

附加信息

作者

巴塞罗那超级计算中心文本挖掘单元(bsc-temu@bsc.es)

联系方式

如需更多信息，请发送邮件至plantl-gob-es@bsc.es

版权

西班牙数字化与人工智能国务秘书处(SEDIA)版权所有(2022)

许可信息

Apache License 2.0

资助

本工作由西班牙数字化与人工智能国务秘书处(SEDIA)在Plan-TL框架下资助

引用信息

若使用本模型，请引用：

@inproceedings{carrino-etal-2022-pretrained,
    title = "Pretrained Biomedical Language Models for Clinical {NLP} in {S}panish",
    author = "Carrino, Casimiro Pio  and
      Llop, Joan  and
      P{\`a}mies, Marc  and
      Guti{\'e}rrez-Fandi{\~n}o, Asier  and
      Armengol-Estap{\'e}, Jordi  and
      Silveira-Ocampo, Joaqu{\'\i}n  and
      Valencia, Alfonso  and
      Gonzalez-Agirre, Aitor  and
      Villegas, Marta",
    booktitle = "Proceedings of the 21st Workshop on Biomedical Language Processing",
    month = may,
    year = "2022",
    address = "Dublin, Ireland",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.bionlp-1.19",
    doi = "10.18653/v1/2022.bionlp-1.19",
    pages = "193--199",
    abstract = "This work presents the first large-scale biomedical Spanish language models trained from scratch, using large biomedical corpora consisting of a total of 1.1B tokens and an EHR corpus of 95M tokens. We compared them against general-domain and other domain-specific models for Spanish on three clinical NER tasks. As main results, our models are superior across the NER tasks, rendering them more convenient for clinical NLP applications. Furthermore, our findings indicate that when enough data is available, pre-training from scratch is better than continual pre-training when tested on clinical tasks, raising an exciting research question about which approach is optimal. Our models and fine-tuning scripts are publicly available at HuggingFace and GitHub.",
}

免责声明