语言: 西班牙语

组件:

• 文本: "拉丁美洲的人工智能发展" 许可证: Apache-2.0 数据集:
• 维基百科

西班牙语描述位于英语描述之后。

(英语) GPT2-small-spanish: 西班牙文本生成语言模型（及其他NLP任务...）

GPT2-small-spanish是基于GPT-2小型模型的前沿西班牙语语言模型。

该模型使用迁移学习与微调技术在西班牙语维基百科上进行训练。训练耗时约70小时，使用了四块配备11GB DDR5显存的NVIDIA GTX 1080-Ti显卡，处理约3GB训练数据。

模型从英文预训练GPT-2小型版微调而来，采用Hugging Face库（Transformers和Tokenizers）结合fastai v2深度学习框架实现，应用了fastai v2全套微调技术。

本训练完全基于Pierre Guillou开发的GPorTuguese-2模型，训练细节详见文章："比从零训练更快——使用Hugging Face和fastai v2微调英文GPT-2适配任意语言（葡萄牙语实践案例）"。

此预览版现已登陆Hugging Face平台。

局限性与偏差

（摘自原GPorTuguese-2模型说明）本模型训练数据来自西班牙语维基百科。需注意这些网络数据包含大量未过滤内容，远非中立。正如openAI团队在模型卡中指出：

由于GPT-2等大规模语言模型无法区分事实与虚构内容，我们不支持需要生成文本绝对真实的应用场景。此外，此类模型会反映训练系统的固有偏见，除非部署者已针对目标场景完成偏见研究，否则不建议将其应用于人机交互系统。我们发现774M和1.5B版本在性别、种族和宗教偏见探针上无显著差异，这意味着所有GPT-2版本在涉及人类属性偏见的敏感场景中都需保持同等警惕。

作者

模型由Datificate（西班牙语机器学习学习平台）联合创始人Josué Obregon与Berny Carrera训练评估。训练依托Josué担任博士后研究员的庆熙大学工业人工智能实验室（IAI Lab）提供的多块NVIDIA GTX1080-Ti显卡算力支持。

如前所述，本工作主要基于Pierre GUILLOU的研究成果。

(西班牙语) GPT2-small-spanish: 西班牙文本生成语言模型（及其他NLP任务）

GPT2-small-spanish是基于GPT-2小型模型的尖端西班牙语语言模型。

该模型采用迁移学习与模型精调技术在西班牙语维基百科上训练完成。训练耗时约70小时，使用四块11GB DDR5显存的NVIDIA GTX 1080-Ti显卡，处理约3GB预处理训练数据。

模型从英文预训练GPT-2小型版精调而来，集成Hugging Face库（Transformers和Tokenizers）与fastai v2深度学习框架，应用fastai v2全套精调技术。

训练完全基于Pierre Guillou开发的葡萄牙语模型GPorTuguese-2，训练细节参见文章："比从零训练更快——使用Hugging Face和fastai v2微调英文GPT-2适配任意语言（葡萄牙语实践案例）"。

模型预览版已登陆Hugging Face平台。

限制与偏差

（摘自原GPorTuguese-2模型）训练数据源自西班牙语维基百科。需注意这些网络数据包含大量未过滤内容，远非中立。如openAI团队在模型卡中指出：

因GPT-2等大规模语言模型无法区分事实与虚构，我们不支持需要生成文本绝对真实的应用。此类模型会反映训练系统的固有偏见，除非部署者已完成目标场景的偏见研究，否则不建议用于人机交互系统。我们发现774M和1.5B版本在性别、种族和宗教偏见指标上无显著差异，意味着所有GPT-2版本在涉及人类属性偏见的敏感场景中需保持同等谨慎。

作者

模型由Datificate（西班牙语机器学习学习平台）创始人Josué Obregon与Berny Carrera训练评估。训练依托Josué作为博士后研究员所在的庆熙大学工业人工智能实验室（IAI Lab）提供的多块NVIDIA GTX1080-Ti显卡算力支持。

如前所述，本工作主要基于Pierre GUILLOU的研究成果。