动机

根据维基百科，西班牙语是全球母语使用者第二多的语言（超过4.7亿人），仅次于汉语，若包括第二语言使用者则为第四。然而，大多数NLP研究仍主要以英语为主。像BERT、XLNet或GPT2这样的重要贡献有时需要数年才能在西班牙语中可用，且通常通过多语言版本提供，性能不如英语版本。

在活动期间，西班牙语中没有可用的RoBERTa模型。因此，发布这样一个模型是我们项目的主要目标。在Flax/JAX社区活动期间，我们发布了模型的测试版，这是西班牙语的第一个版本。此后，在活动的最后一天，巴塞罗那超级计算中心发布了他们自己的RoBERTa模型。精确的时间安排表明我们的工作加速了其发布，这种竞争的加剧是我们项目的预期成果。我们感谢他们在论文中讨论BERTIN的努力，并认可他们自己的贡献，这也在我们的实验中得到了体现。

西班牙语的单语模型很难获得，即使有，也通常是在专有数据集上使用大量资源训练的。实际上，这意味着许多相关算法和技术仍为大型科技公司和组织所独有。这激发了本项目的第二个目标，即让像RoBERTa这样的大型模型的训练更接近小型团队。我们希望探索使这些架构的训练更简单、更快速的技术，从而促进大型语言模型的民主化。

西班牙语mC4

数据集mC4是C4的多语言变体，C4是Common Crawl网络爬取语料库的大规模清理版本。虽然C4用于训练T5文本到文本Transformer模型，但mC4包含从公共Common Crawl网络爬取中提取的101种语言的自然文本，并用于训练mT5，即T5的多语言版本。

西班牙语部分的mC4（mC4-es）包含约4.16亿样本和2350亿单词，约1TB的未压缩数据。

$ zcat c4/multilingual/c4-es*.tfrecord*.json.gz | wc -l  
416057992  

$ zcat c4/multilingual/c4-es*.tfrecord-*.json.gz | jq -r '.text | split(" ") | length' | paste -s -d+ - | bc  
235303687795  

困惑度采样

mC4-es中的大量文本使得在Flax/JAX社区活动的时间限制内训练语言模型变得困难。这促使我们探索采样方法，目标是创建一个数据集的子集，允许在大约八分之一的数据（约5000万样本）和大约一半的训练步骤下训练性能良好的模型。

为了高效构建这个数据子集，我们决定利用一种称为困惑度采样的技术，其起源可以追溯到CCNet（Wenzek等人，2020）的构建及其从网络爬取数据中构建高质量单语数据集的工作。在他们的工作中，他们建议可以应用在高质量数据（如维基百科）上训练的快速语言模型来过滤掉与语言正确表达偏差过大的文本（见图1）。他们还发布了100种语言（包括西班牙语）的Kneser-Ney模型（Ney等人，1994），使用KenLM库（Heafield，2011）实现并在各自的维基百科上训练。

在这项工作中，我们测试了困惑度采样可能有助于减少训练数据大小和训练时间，同时保持最终模型性能的假设。

方法论

为了验证我们的假设，我们首先计算了mC4-es随机子集（约四分之一数据）中每个文档的困惑度，并提取了它们的分布和四分位数（见图2）。

通过提取的困惑度百分位数，我们创建了两个函数来对中间四分位数进行过采样，以避免样本过小（短、重复文本）或过长（可能质量较差）（见图3）。

第一个函数是Stepwise，它简单地使用四分位数边界和每个四分位数的期望采样频率factor对中间四分位数进行过采样，显然为中间四分位数提供更大的频率（对Q2、Q3过采样，对Q1、Q4欠采样）。
第二个函数通过类似高斯函数对困惑度分布进行加权，以平滑Stepwise函数的尖锐边界，更好地逼近期望的潜在分布（见图4）。

我们调整了Stepwise函数的factor参数，以及Gaussian函数的factor和width参数，以便从mC4-es的4.16亿样本中采样约5000万样本（见图4）。作为对比，我们还随机采样了mC4-es至5000万样本。在大小方面，我们从1TB的数据减少到约200GB。我们发布了代码，可以在流式传输时对任何语言的mC4进行采样，数据集为bertin-project/mc4-sampling。

图5显示了每个执行的子采样过程生成的5000万子集的实际困惑度分布。所有子集都可以通过bertin-project/mc4-es-sampled数据集轻松访问以进行复现。我们调整了子采样参数，以便从mC4的原始训练分割中采样约5000万样本。然而，当这些参数应用于验证分割时，结果样本太少（约40万样本）。因此，出于验证目的，我们在每次评估步骤中从自己的训练数据集中动态提取了5万样本。关键的是，这些元素随后被排除在训练之外，以避免在先前见过的数据上进行验证。在mc4-es-sampled数据集中，训练分割包含完整的5000万样本，而验证则直接从原始mC4中检索。

from datasets import load_dataset  

for config in ("random", "stepwise", "gaussian"):  
    mc4es = load_dataset(  
        "bertin-project/mc4-es-sampled",  
        config,  
        split="train",  
        streaming=True  
    ).shuffle(buffer_size=1000)  
    for sample in mc4es:  
        print(config, sample)  
        break  

Random采样显示了与真实分布相同的困惑度分布，如图6所示。