CLIN-X-ES：面向西班牙语临床领域的预训练语言模型

关于该模型、预训练语料库及下游任务性能的详细信息，请参阅论文《CLIN-X: 临床领域概念提取的预训练语言模型及跨任务迁移研究》（作者：Lukas Lange, Heike Adel, Jannik Strötgen 和 Dietrich Klakow）。论文可通过此链接获取。如有疑问，请联系论文中列出的作者。

在报告、复现或扩展研究成果时，请引用上述论文：

@misc{lange-etal-2021-clin-x,
      author    = {Lukas Lange and
                   Heike Adel and
                   Jannik Str{\"{o}}tgen and
                   Dietrich Klakow},
      title     = {CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain},
      year={2021},
      eprint={2112.08754},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2112.08754}
}

训练细节

该模型基于多语言XLM-R transformer架构(xlm-roberta-large)。XLM-R曾针对100种语言进行训练，在跨语言任务中表现卓越，在某些场景下甚至超越单语模型（Conneau等，2020）。尽管XLM-R的预训练包含53GB西班牙语文档，但这仅占其总训练数据的2%。为使模型适配西班牙语临床领域，我们从Scielo档案库(https://scielo.org/)和MeSpEn资源（Villegas等，2018）中采样文档，最终构建出790MB高度专业化的临床领域语料库。

我们采用预训练的XLM-R权重初始化CLIN-X，并在西班牙语临床语料库上进行了3个周期（约32,000步）的掩码语言建模（MLM）训练。这使得研究人员和从业者能直接使用这个专为西班牙语临床领域定制的开箱即用模型。

西班牙语概念提取结果

我们在标准序列标注架构（类似Devlin等2019年方案）中，将CLIN-X-ES应用于临床领域的五项西班牙语概念提取任务，并与名为BETO的西班牙语BERT模型对比。此外，我们还采用论文所述改进架构(+ OurArchitecture)进行实验。模型架构代码详见此仓库。

英语概念提取结果

由于CLIN-X-ES基于XLM-R，该模型仍具备多语言能力。我们通过将其应用于i2b2的五项英语序列标注任务，证明了跨语言领域适应的积极影响。在此跨语言场景中，来自相关概念提取的进一步迁移尤为有效。关于迁移过程和其他模型的详细说明，请参阅我们的论文。

项目目的

本软件为研究原型，仅作为上述发表成果的组成部分开发。我们不会对其进行任何形式的维护或监控。

许可协议

CLIN-X模型采用CC-BY 4.0许可证开源。详见许可文件。