语言: 希伯来语

缩略图: https://avatars1.githubusercontent.com/u/3617152?norod.jpg
小部件示例:

• 文本: "地球上最后一个人独自坐在房间里，突然传来敲门声"
• 文本: "你好，我叫"
• 文本: "哈利·波特尴尬地笑了笑"
• 文本: "你的猫非常可爱而且"

许可证: MIT协议

蒸馏版GPT2基础预训练希伯来语模型

这是一个基于GPT2的微型希伯来文本生成模型，最初通过TPU研究云计划提供的TPUv3-8进行训练，后续在GPU上进一步微调完成。

数据集

OSCAR语料库（希伯来语去重未洗牌版） - 主页 | 数据集永久链接

这个超大规模多语言语料库通过goclassy架构对Common Crawl数据进行语言分类和过滤获得。

CC-100（希伯来语） - 主页

包含100多种语言的单语数据，包含2018年全年Commoncrawl快照处理后的文本，文档间用双换行符分隔，段落间用单换行符分隔。

其他数据源

• 希伯来语推特
• 维基百科
• 各类其他来源

训练过程

• 使用Huggingface的clm-flax示例脚本在TPUv3-8虚拟机上完成
• 整理了新手友好型TPU训练建议清单
• GPU阶段进行后续调优

使用示例

基础调用代码

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

def main():
    model_name="Norod78/distilgpt2-base-pretrained-he"

    prompt_text = "你好，我叫"
    generated_max_length = 192

    print("加载模型中...")
    model = AutoModelForCausalLM.from_pretrained(model_name)
    print('加载分词器...')
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    text_generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

    print("生成文本中...")
    result = text_generator(prompt_text, 
                          num_return_sequences=1,
                          max_length=generated_max_length,
                          do_sample=True,
                          top_k=40,
                          top_p=0.92,
                          temperature=1,
                          repetition_penalty=5.0)

    print("生成结果 = " + str(result))

if __name__ == '__main__':
    main()