语言:

• 西班牙语 许可证: apache-2.0 标签:
• "西班牙国家图书馆"
• "西班牙语"
• "bne" 数据集:
• "bne"
  评估指标:
• "ppl"

基于西班牙国家图书馆(BNE)数据训练的GPT2-large模型

模型描述

GPT2-large-bne是基于Transformer架构的西班牙语模型。该模型以GPT-2为基础，使用迄今最大规模的西班牙语语料库进行预训练。训练数据来自西班牙国家图书馆(Biblioteca Nacional de España)2009至2019年间网络爬取内容，经过清洗和去重处理后总计达570GB。

训练语料与预处理

西班牙国家图书馆每年会对所有.es域名进行爬取。训练语料包含2009-2019年间抓取的59TB WARC文件。

为确保语料质量，我们构建了包含分句处理、语言检测、劣质语句过滤及内容去重等环节的预处理流程，同时保留文档边界。最终获得2TB高质量西班牙语语料，经全局去重后缩减至570GB。

语料统计信息：

分词与预训练

采用原始GPT-2模型的字节级BPE分词法，词表规模50,262。GPT2-large-bne遵循GPT-2的自回归语言模型训练方法，使用32个计算节点（每个节点配备4块16GB显存的NVIDIA V100 GPU）进行了为期10天的训练。

评估结果

完整评估细节请访问我们的GitHub仓库。

引用文献

详见我们的论文：https://arxiv.org/abs/2107.07253

@misc{gutierrezfandino2021spanish,
      title={Spanish Language Models}, 
      author={Asier Gutiérrez-Fandiño and Jordi Armengol-Estapé and Marc Pàmies and Joan Llop-Palao and Joaquín Silveira-Ocampo and Casimiro Pio Carrino and Aitor Gonzalez-Agirre and Carme Armentano-Oller and Carlos Rodriguez-Penagos and Marta Villegas},
      year={2021},
      eprint={2107.07253},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}