语言: 孟加拉语
许可证: MIT
数据集:

• mc4

孟加拉语GPT-2

孟加拉语GPT-2演示。作为Huggingface JAX/Flax活动的一部分。还包括一个基于孟加拉语歌词微调的模型。

模型描述

OpenAI GPT-2模型在论文《语言模型是无监督多任务学习器》中提出。原始GPT-2模型是一个基于约40GB文本数据通过语言建模预训练的单向（因果）Transformer。本模型配置相同，但基于多语言C4（mC4）数据集的孟加拉语语料库进行了预训练。训练代码已全部开源在此。

训练详情

总体结果：

评估损失：1.45，评估困惑度：3.141

数据：mC4-bn

训练步数：25万步

链接 🤗 flax-community/gpt2-bengali

演示：https://huggingface.co/spaces/flax-community/Gpt2-bengali

使用方法

使用该模型有多种方式。例如，可以直接使用流水线生成句子：

from transformers import pipeline  

gpt2_bengali = pipeline('text-generation', model="flax-community/gpt2-bengali", tokenizer='flax-community/gpt2-bengali')  

类似地，使用基于孟加拉语歌词微调的模型可以如下操作：

from transformers import pipeline  

singer = pipeline('text-generation', model="khalidsaifullaah/bengali-lyricist-gpt2", tokenizer='khalidsaifullaah/bengali-lyricist-gpt2')  

对于其他任务，需要在自定义数据集上微调模型。详情可参考Huggingface文档。

贡献者

• Khalid Saifullah
• Tasmiah Tahsin Mayeesha
• Ritobrata Ghosh
• Ibrahim Musa
• M Saiful Bari

BibTeX条目及引用信息

@misc {flax_community_2023,
author = { {Flax Community} },
title = { gpt2-bengali (修订版 cb8fff6) },
year = 2023,
url = { https://huggingface.co/flax-community/gpt2-bengali },
doi = { 10.57967/hf/0938 },
publisher = { Hugging Face }
}