语言:

• 西班牙语

标签:

• 掩码语言模型

BETO：西班牙语BERT模型

BETO是基于大型西班牙语语料库训练的BERT模型。其规模与BERT-Base相当，并采用全词掩码技术训练。下方提供未区分大小写版和区分大小写版的TensorFlow与PyTorch检查点下载，以及BETO在西班牙语基准测试中与多语言BERT及其他非BERT模型的对比结果。

下载资源

所有模型使用约31K个通过SentencePiece构建的BPE子词单元，训练步数达200万次。

基准测试

下表展示BETO在各西班牙语任务中的表现，并与文献中最佳多语言BERT结果（截至2019年10月）及其他方法进行对比。所有参考文献详见引用章节。

使用示例

详细使用指南请参阅🤗Huggingface Transformers库的快速入门章节。通过Transformers库可直接调用BETO模型：区分大小写版为'dccuchile/bert-base-spanish-wwm-cased'，未区分大小写版为'dccuchile/bert-base-spanish-wwm-uncased'。具体操作示例可参考此Colab笔记本。（即将推出西班牙语版详细教程😉）

致谢

感谢Adereso对BETO未区分大小写版训练的支持，以及数据基础研究千年研究所对BETO区分大小写版的支持。同时感谢Google通过TensorFlow研究云计划提供的协助。

引用文献

西班牙语预训练BERT模型及评估数据

学术引用请使用以下格式：

@inproceedings{CaneteCFP2020,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

许可声明

虽然我们采用CC BY 4.0许可声明，但部分训练数据集的许可条款可能与之不兼容（特别是商业用途）。请自行核实原始文本资源的许可条款是否符合您的需求。

参考文献

• [1] 原始多语言BERT
• [2] 《Beto, Bentz, Becas: BERT的跨语言有效性》中的多语言BERT
• [3] 《多语言BERT的多语言能力探究》中的多语言BERT
• [4] LASER模型
• [5] XLM模型(MLM+TLM)
• [6] 《75种语言的通用依存解析》中的UDPipe
• [7] 《基于上下文与非上下文子词表示的序列标注多语言评估》中的多语言BERT
• [8] 《PAWS-X: 跨语言复述识别对抗数据集》中的多语言BERT