🚀 西班牙语生物医学语言模型

该模型是专门为西班牙语设计的生物医学预训练语言模型，可用于填充掩码任务，也可在下游任务中微调使用。

🚀 快速开始

模型描述

这是一个用于西班牙语的生物医学预训练语言模型。如需了解有关语料库、预训练和评估的更多详细信息，请查看官方 仓库 并阅读我们的 预印本。

预期用途和限制

该模型仅适用于掩码语言建模，以执行填充掩码任务（您可以尝试推理 API 或阅读下一部分）。不过，它旨在在诸如命名实体识别或文本分类等下游任务上进行微调。

如何使用

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
model = AutoModelForMaskedLM.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
from transformers import pipeline
unmasker = pipeline('fill-mask', model="BSC-TeMU/roberta-base-biomedical-es")
unmasker("El único antecedente personal a reseñar era la <mask> arterial.")

# 输出
[
  {
    "sequence": " El único antecedente personal a reseñar era la hipertensión arterial.",
    "score": 0.9855039715766907,
    "token": 3529,
    "token_str": " hipertensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la diabetes arterial.",
    "score": 0.0039140828885138035,
    "token": 1945,
    "token_str": " diabetes"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la hipotensión arterial.",
    "score": 0.002484665485098958,
    "token": 11483,
    "token_str": " hipotensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la Hipertensión arterial.",
    "score": 0.0023484621196985245,
    "token": 12238,
    "token_str": " Hipertensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la presión arterial.",
    "score": 0.0008009297889657319,
    "token": 2267,
    "token_str": " presión"
  }
]

✨ 主要特性

该模型基于 RoBERTa 架构，在西班牙语生物医学语料上进行预训练，可用于填充掩码任务，也能在下游任务中微调，如命名实体识别和文本分类。

📦 安装指南

文档未提及安装步骤，故跳过。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
model = AutoModelForMaskedLM.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
from transformers import pipeline
unmasker = pipeline('fill-mask', model="BSC-TeMU/roberta-base-biomedical-es")
unmasker("El único antecedente personal a reseñar era la <mask> arterial.")

📚 详细文档

训练

分词和模型预训练

该模型是一个基于 RoBERTa 的模型，在从多个来源收集的西班牙语 生物医学 语料库上进行训练（详见下一节）。

训练语料库使用了 字节对编码 (BPE) 的字节版本进行分词，该版本在原始 RoBERTA 模型中使用，词汇量为 52,000 个标记。预训练包括在子词级别进行掩码语言模型训练，采用了与 RoBERTa 基础模型相同的方法，并使用了与原始工作相同的超参数。训练总共持续了 48 小时，使用了 16 个 16GB DDRAM 的 NVIDIA V100 GPU，采用 Adam 优化器，峰值学习率为 0.0005，有效批量大小为 2,048 个句子。

训练语料库和预处理

训练语料库由几个西班牙语生物医学语料库组成，这些语料库从公开可用的语料库和爬虫中收集而来。 为了获得高质量的训练语料库，应用了一个包含以下操作的清理流程：

• 不同格式的数据解析
  • 句子分割
  • 语言检测
  • 过滤格式错误的句子
  • 重复内容去重
  • 保留原始文档边界

最后，将语料库连接起来，并在语料库之间进行进一步的全局去重。 结果是一个中等规模的西班牙语生物医学语料库，由大约 9.63 亿个标记组成。下表显示了各个清理后语料库的一些基本统计信息：

评估

该模型在命名实体识别 (NER) 任务上使用以下数据集进行了评估：

• PharmaCoNER：是一个关于从西班牙语医学文本中识别化学和药物提及的任务（更多信息请参见：https://temu.bsc.es/pharmaconer/）。
• CANTEMIST：是一个专门关注西班牙语肿瘤形态命名实体识别的共享任务（更多信息请参见：https://zenodo.org/record/3978041#.YTt5qH2xXbQ）。
• ICTUSnet：由来自 18 家不同西班牙医院的 1006 份中风患者出院报告组成。它包含 51 种不同类型变量的 79,000 多个注释。

评估结果与 mBERT 和 BETO 模型进行了比较：

额外信息

作者

巴塞罗那超级计算中心的文本挖掘单元 (TeMU) (bsc-temu@bsc.es)

联系信息

如需进一步信息，请发送电子邮件至 plantl-gob-es@bsc.es

版权

版权归西班牙数字化和人工智能秘书处 (SEDIA) 所有 (2022)

许可信息

Apache 许可证，版本 2.0

资金支持

这项工作由西班牙数字化和人工智能秘书处 (SEDIA) 在 Plan-TL 框架内资助。

引用信息

如果您使用我们的模型，请引用我们的最新预印本：

@misc{carrino2021biomedical,
      title={Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Asier Gutiérrez-Fandiño and Joan Llop-Palao and Marc Pàmies and Aitor Gonzalez-Agirre and Marta Villegas},
      year={2021},
      eprint={2109.03570},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

如果您使用我们的医学爬虫语料库，请引用预印本：

@misc{carrino2021spanish,
      title={Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Ona de Gibert Bonet and Asier Gutiérrez-Fandiño and Aitor Gonzalez-Agirre and Martin Krallinger and Marta Villegas},
      year={2021},
      eprint={2109.07765},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

免责声明

🔧 技术细节

该模型基于 RoBERTa 架构，使用字节对编码 (BPE) 进行分词，在子词级别进行掩码语言模型训练。训练使用了 16 个 NVIDIA V100 GPU，持续 48 小时，采用 Adam 优化器，峰值学习率为 0.0005，有效批量大小为 2,048 个句子。

📄 许可证

Apache 许可证，版本 2.0