语言:

• 西班牙语 标签:
• 生物医学
• 西班牙语 许可证: Apache-2.0 评估指标:
• 困惑度(ppl) 示例:
• 文本: "唯一需要记录的个人病史是动脉。"
• 文本: "全身骨骼X光未检测到异常，也未发现脊椎异常。"
• 文本: "在胸腹盆检查中未发现具有临床意义的病理学表现。"

西班牙语生物医学语言模型

目录

模型描述

西班牙语生物医学预训练语言模型。关于语料库、预训练及评估的详细信息，请参阅官方代码库和我们的预印本论文。

预期用途与限制

本模型当前可直接用于掩码语言建模任务（如填空任务，可通过推理API或下文示例使用）。但更适用于通过微调处理下游任务，如命名实体识别或文本分类。

使用方法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
model = AutoModelForMaskedLM.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
from transformers import pipeline
unmasker = pipeline('fill-mask', model="BSC-TeMU/roberta-base-biomedical-es")
unmasker("唯一需要记录的个人病史是动脉<mask>。")

# 输出示例
[
  {
    "sequence": "唯一需要记录的个人病史是动脉高血压。",
    "score": 0.9855039715766907,
    "token": 3529,
    "token_str": "高血压"
  },
  {
    "sequence": "唯一需要记录的个人病史是动脉糖尿病。",
    "score": 0.0039140828885138035,
    "token": 1945,
    "token_str": "糖尿病"
  },
  {
    "sequence": "唯一需要记录的个人病史是动脉低血压。",
    "score": 0.002484665485098958,
    "token": 11483,
    "token_str": "低血压"
  },
  {
    "sequence": "唯一需要记录的个人病史是动脉高血压。",
    "score": 0.0023484621196985245,
    "token": 12238,
    "token_str": "高血压"
  },
  {
    "sequence": "唯一需要记录的个人病史是动脉血压。",
    "score": 0.0008009297889657319,
    "token": 2267,
    "token_str": "血压"
  }
]

训练过程

分词与模型预训练

本模型基于RoBERTa架构，在西班牙语生物医学语料库上训练而成。采用52,000词表的字节级字节对编码(BPE)分词技术，其掩码语言建模训练参数与原始RoBERTa基础模型保持一致。使用16块NVIDIA V100 GPU（16GB显存）耗时48小时完成训练，采用Adam优化器（峰值学习率0.0005），有效批次大小为2,048句。

训练语料与预处理

训练语料整合了多个公开生物医学数据集，经过解析、分句、语言检测、异常句过滤、内容去重等严格清洗流程，最终形成包含约9.63亿标记的中等规模语料库。主要子语料统计如下：

评估结果

模型在以下命名实体识别(NER)数据集上评估，性能优于mBERT和BETO模型：

附加信息

作者

巴塞罗那超级计算中心文本挖掘单元(TeMU) (bsc-temu@bsc.es)

联系方式

如需更多信息，请发送邮件至plantl-gob-es@bsc.es

版权声明

西班牙数字化与人工智能国务秘书处(SEDIA)版权所有(2022)

许可信息

Apache许可证2.0版

资助方

本工作由西班牙数字化与人工智能国务秘书处(SEDIA)在Plan-TL框架下资助。

引用信息

若使用本模型，请引用我们的预印本论文：

@misc{carrino2021biomedical,
      title={Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Asier Gutiérrez-Fandiño and Joan Llop-Palao and Marc Pàmies and Aitor Gonzalez-Agirre and Marta Villegas},
      year={2021},
      eprint={2109.03570},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

若使用医学爬虫语料，请引用：

@misc{carrino2021spanish,
      title={Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Ona de Gibert Bonet and Asier Gutiérrez-Fandiño and Aitor Gonzalez-Agirre and Martin Krallinger and Marta Villegas},
      year={2021},
      eprint={2109.07765},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

免责声明