语言:

• tr 缩略图: 标签:
• gpt2
• 土耳其语

许可证: apache-2.0 数据集:

• 土耳其语维基百科 评估指标:
• 困惑度
• 准确率

小部件示例:

• 文本: "Bu yazıyı bir bilgisayar yazdı. Yazarken" 上下文: ''
• 文本: "İnternete kolay erişim sayesinde dünya daha da küçüldü. Bunun sonucunda" 上下文: ''

微调后的土耳其语GPT2模型

Türkçe GPT2 Modeli

模型描述

这是一个基于GPT2-Small英语模型的微调版本，额外使用了截至2020年10月28日的土耳其语维基百科文章进行训练。

基于本作品的实时演示见: https://www.metayazar.com/

在此模型上微调的写作器: https://huggingface.co/gorkemgoknar/gpt2-turkish-writer

工作基于Pierre Guillou的教程(见该页面): (https://github.com/piegu/fastai-projects/blob/master/finetuning-English-GPT2-any-language-Portuguese-HuggingFace-fastaiv2.ipynb)

代码已转换为兼容Fastai 2.X版本。

使用Google Colab进行训练。

更多教程和源码将在后续发布于: https://github.com/gorkemgoknar

当前准确率33%，困惑度:51.88

可用模型:

• [gpt2-small-tuned-tr] (https://huggingface.co/gorkemgoknar/gpt2-small-turkish)
• [gpt2-small-turkish-writer] (https://huggingface.co/gorkemgoknar/gpt2-turkish-writer)

使用范围和限制

使用方法

安装

from transformers import AutoTokenizer, AutoModelWithLMHead
import torch

tokenizer = AutoTokenizer.from_pretrained("gorkemgoknar/gpt2-small-turkish")
model = AutoModelWithLMHead.from_pretrained("gorkemgoknar/gpt2-small-turkish")

# 设置最大序列长度为1024
tokenizer.model_max_length=1024 

model.eval()  # 关闭dropout(或保持训练模式以进行微调)

生成单个词

# 输入序列
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# 模型输出
outputs = model(**inputs, labels=inputs["input_ids"])
loss, logits = outputs[:2]
predicted_index = torch.argmax(logits[0, -1, :]).item()
predicted_text = tokenizer.decode([predicted_index])

# 结果
print('输入文本:', text)
print('预测文本:', predicted_text)

# 输入文本: 
# 预测文本:  

生成完整序列

# 输入序列
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# 使用Top-k采样文本生成方法的模型输出
sample_outputs = model.generate(inputs.input_ids,
                                pad_token_id=50256,
                                do_sample=True, 
                                max_length=50, # 设置所需token数量
                                top_k=40,
                                num_return_sequences=1)

# 生成序列
for i, sample_output in enumerate(sample_outputs):
    print(">> 生成文本 {}\\\\
\\\\
{}".format(i+1, tokenizer.decode(sample_output.tolist())))

# >> 生成文本
#    

限制与偏差

本模型的训练数据来自土耳其语维基百科。我们知道其中包含大量来自互联网的未过滤内容，远非中立。

训练数据

截至2020年10月28日的土耳其语维基百科文章转储

训练过程

评估结果

#第0周期在Tesla T4上运行，其余在V100上运行