语言:

• 希腊语 (el) 标签:
• pytorch
• 因果语言模型 (causal-lm) 示例:
• 文本: "我最喜欢的地方是" 许可证: apache-2.0

希腊语 (el) GPT2 模型

由希腊军事学院 (SSE) 和克里特技术大学 (TUC) 联合开发

• 语言: 希腊语 (el)
• 许可证: apache-2.0
• 数据集: 约23.4 GB的希腊语语料库
• 模型: GPT2 (12层, 768隐藏单元, 12头注意力, 1.17亿参数。基于OpenAI GPT-2英语模型，针对希腊语进行微调)
• 预处理: 分词 + BPE分割
• 评估指标: 困惑度

模型描述

这是一个文本生成（自回归）模型，使用Huggingface transformers和fastai，基于英语GPT-2。
通过逐步解冻层进行微调。与从头开始训练相比，这是一种更高效和可持续的替代方案，尤其适用于资源较少的语言。
基于Thomas Dehaene (ML6) 创建荷兰语GPT2的工作: https://colab.research.google.com/drive/1Y31tjMkB8TqKKFlZ5OJ9fcMp3p8suvs4?usp=sharing

使用方法

from transformers import pipeline

model = "lighteternal/gpt2-finetuned-greek"

generator = pipeline(
    'text-generation',
    device=0,
    model=f'{model}',
    tokenizer=f'{model}')
    
text = "从前有一个"

print("\
".join([x.get("generated_text") for x in generator(
    text,
    max_length=len(text.split(" "))+15,
    do_sample=True,
    top_k=50,
    repetition_penalty = 1.2,
    add_special_tokens=False,
    num_return_sequences=5,
    temperature=0.95,
    top_p=0.95)]))
    

训练数据

我们使用了来自CC100、Wikimatrix、Tatoeba、Books、SETIMES和GlobalVoices的23.4GB希腊语语料库样本，包含长序列。
这是我们小型GPT-2模型的改进版本 (https://huggingface.co/lighteternal/gpt2-finetuned-greek-small)

评估指标

致谢

本研究工作得到了希腊研究与创新基金会 (HFRI) 的支持，资助号为HFRI博士奖学金 (奖学金编号:50, 第2轮)

基于Thomas Dehaene (ML6) 的工作: https://blog.ml6.eu/dutch-gpt2-autoregressive-language-modelling-on-a-budget-cff3942dd020