许可证: apache-2.0 语言:

• 英语
• 西班牙语 数据集:
• HiTZ/多语言医学语料库 标签:
• 生物医学
• 医疗
• 临床
• 西班牙语
• 多语言 小部件示例:
• 文本: "全身骨骼X光片未检测到异常，也未发现脊椎异常。"
• 文本: "在胸腹盆腔检查中未发现具有病理意义的异常。"
• 文本: "对左前降支和回旋支进行了经皮冠状动脉手术。"
• 文本: "临床检查显示无搏动性、无痛性、轴性、不可复位的眼球突出，无或角膜炎迹象，伴右眼单眼失明及右侧眼睑下垂。"

EriBERTa
面向临床自然语言处理的双语预训练语言模型

我们推出EriBERTa，这是一个基于海量医学临床语料库预训练的双语领域专用语言模型。实验证明，EriBERTa在临床领域超越了既往所有西班牙语模型，展现出卓越的医学文本理解与信息提取能力。该模型还表现出优异的迁移学习特性，可实现跨语言知识迁移——这一特性在西班牙语临床数据稀缺的背景下尤为重要。

• 📖 论文: EriBERTa：面向临床自然语言处理的双语预训练语言模型

快速使用指南

通过以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("HiTZ/EriBERTa-base")
model = AutoModelForMaskedLM.from_pretrained("HiTZ/EriBERTa-base")

模型说明

• 开发团队: Iker De la Iglesia, Aitziber Atutxa, Koldo Gojenola, Ander Barrena
• 联系方式: Iker De la Iglesia 与 Ander Barrena
• 支持语言: 英语、西班牙语
• 许可证: apache-2.0
• 资助项目:
  • 西班牙科学与创新部MCIN/AEI/10.13039/501100011033/FEDER项目：
    • 2022知识生成项目(EDHIA PID2022-136522OB-C22)
    • DOTT-HEALTH/PAT-MED PID2019-543106942RB-C31
    • 欧盟下一代EU/PRTR计划(DeepR3 TED2021-130295B-C31, ANTIDOTE PCI2020-120717-2 EU ERA-Net CHIST-ERA)
  • 巴斯克政府：
    • IXA IT1570-22

技术细节