language: "tr" tags:

• 土耳其语
• tr
• gpt2-tr
• gpt2-土耳其语

🇹🇷 土耳其语GPT-2模型

本仓库发布了针对土耳其语各类文本训练的GPT-2模型。

该模型可作为其他文本微调的起点。

训练语料

我使用了来自oscar-corpus的土耳其语语料库。

通过Huggingface的Tokenizers库成功创建了字节级BPE编码。

基于训练语料，使用Tokenizers库构建了包含52K词汇的字节级BPE词表。

完成词表构建后，使用两块2080TI显卡在整个训练语料上进行了五轮GPT-2土耳其语版训练。

训练日志： https://tensorboard.dev/experiment/3AWKv8bBTaqcqZP5frtGkw/#scalars

模型权重

同时提供PyTorch和Tensorflow兼容的权重文件。

使用说明

可通过以下方式调用模型：

from transformers import AutoTokenizer, AutoModelWithLMHead
tokenizer = AutoTokenizer.from_pretrained("redrussianarmy/gpt2-turkish-cased")
model = AutoModelWithLMHead.from_pretrained("redrussianarmy/gpt2-turkish-cased")

以下示例展示如何使用Transformers流水线生成文本：

from transformers import pipeline
pipe = pipeline('text-generation', model="redrussianarmy/gpt2-turkish-cased",
                 tokenizer="redrussianarmy/gpt2-turkish-cased", config={'max_length':800})   
text = pipe("Akşamüstü yolda ilerlerken, ")[0]["generated_text"]
print(text)

如何克隆模型仓库？

git lfs install
git clone https://huggingface.co/redrussianarmy/gpt2-turkish-cased

联系渠道（错误反馈/功能建议/贡献指南）

有关土耳其语GPT-2模型的问题，请直接提交issue 🤗