语言:

• 西班牙语

标签:

• 掩码语言模型

BETO：西班牙语BERT模型

BETO是基于大型西班牙语语料库训练的BERT模型。其规模与BERT-Base相当，并采用全词掩码技术进行训练。下方提供了未区分大小写和区分大小写版本的TensorFlow与PyTorch检查点下载链接，以及BETO在西班牙语基准测试中与多语言BERT及其他非BERT模型的对比结果。

下载资源

所有模型均使用约31K个通过SentencePiece构建的BPE子词词汇表，并经过200万步训练。

基准测试

下表展示了BETO在各西班牙语任务中的表现，与文献中最佳多语言BERT结果（截至2019年10月）及其他方法的对比。具体参考文献见引用章节。

使用示例

详细使用指南可参考🤗Huggingface Transformers库的快速入门章节。通过该库可直接加载BETO模型：区分大小写版 'dccuchile/bert-base-spanish-wwm-cased' 和未区分大小写版 'dccuchile/bert-base-spanish-wwm-uncased'。具体操作示例可参见此Colab笔记本（即将推出西班牙语详细教程😉）。

致谢

感谢Adereso对BETO未区分大小写版训练的支持，以及数据基础研究千年研究所对区分大小写版训练的资助。同时感谢Google通过TensorFlow研究云计划提供的支持。

引用文献

西班牙语预训练BERT模型及评估数据

请使用以下格式引用：

@inproceedings{CaneteCFP2020,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

许可声明

虽然我们采用CC BY 4.0许可声明，但部分训练数据集的许可条款可能与之存在兼容性问题（特别是商业用途）。请自行核实原始文本资源的许可条款是否符合您的需求。

参考文献

• [1] 原始多语言BERT
• [2] 《Beto, Bentz, Becas: BERT的跨语言有效性》中的多语言BERT
• [3] 《多语言BERT的多语言能力探究》
• [4] LASER模型
• [5] XLM (MLM+TLM)
• [6] 《75种语言的统一解析模型》中的UDPipe
• [7] 《上下文与非上下文子词表示的序列标注多语言评估》中的多语言BERT
• [8] 《PAWS-X: 跨语言复述识别对抗数据集》中的多语言BERT