language: es
tags:

• GPT-2
• Spanish
• ebooks
• nlg
  datasets:
• ebooks
  widget:
• text: "Quisiera saber que va a suceder"
  license: mit

GPT2-西班牙语版

GPT2-西班牙语版是一个从头开始训练的语言生成模型，使用了11.5GB的西班牙语文本数据，并为此专门训练了一个字节对编码（BPE）分词器。其参数设置与OpenAI原版GPT2模型的小型版本保持一致。

训练语料

该模型的训练语料包含11.5GB文本数据，其中3.5GB来自维基百科文章，8GB来自各类书籍（包括小说、短篇故事、戏剧、诗歌、散文及科普读物）。

分词器

文本采用字节级字节对编码（BPE）进行分词（支持Unicode字符），词汇表大小为50257。输入为连续1024个标记组成的序列。

该分词器基于西班牙语语料从头训练。研究表明，英语模型的分词器由于两种语言的形态句法差异，在捕捉西班牙语语义关系时存在局限性。

除OpenAI GPT-2模型中用于标记文本结束的特殊标记"<|endoftext|>"外，本模型还新增了"<|talk|>"、"<|ax1|>"、"<|ax2|>"（...）"<|ax9|>"等标记，以便作为后续训练的提示词使用。

训练过程

模型与分词器使用Hugging Face库进行训练，硬件采用Google Colab服务器配备的16GB显存Nvidia Tesla V100 GPU。

作者

模型由-Deep ESP-社区成员Alejandro Oñate Latorre（西班牙）和Jorge Ortiz Fuentes（智利）训练完成。该社区是专注于西班牙语自然语言处理的开源团体（https://t.me/joinchat/VoEp1bPrDYEexc6h）。

感谢社区成员为初期测试提供的资金支持。

注意事项

模型根据训练语料中的模式生成文本。由于原始数据未经筛选，模型可能生成具有冒犯性或歧视性的内容。