日语GPT-2中型模型

本仓库提供中等规模的日语GPT-2模型。该模型由rinna株式会社使用Github仓库rinnakk/japanese-pretrained-models中的代码训练而成。

如何使用该模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt2-medium", use_fast=False)
tokenizer.do_lower_case = True  # 由于分词器配置加载的某些错误

model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")

模型架构

一个具有24层、1024隐藏层大小的基于Transformer的语言模型。

训练

该模型在Japanese CC-100和Japanese Wikipedia上进行训练，使用8块V100 GPU优化传统语言建模目标，训练时间约30天。在相同数据选定的验证集上，其困惑度约为18。

分词

模型使用基于sentencepiece的分词器，词汇表是在日语维基百科上使用官方sentencepiece训练脚本训练的。

发布日期

2021年4月7日（更新：2021年8月25日）

引用方式

@misc{rinna-japanese-gpt2-medium,
    title = {rinna/japanese-gpt2-medium},
    author = {Zhao, Tianyu and Sawada, Kei},
    url = {https://huggingface.co/rinna/japanese-gpt2-medium}
}

@inproceedings{sawada2024release,
    title = {Release of Pre-Trained Models for the {J}apanese Language},
    author = {Sawada, Kei and Zhao, Tianyu and Shing, Makoto and Mitsui, Kentaro and Kaga, Akio and Hono, Yukiya and Wakatsuki, Toshiaki and Mitsuda, Koh},
    booktitle = {Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
    month = {5},
    year = {2024},
    pages = {13898--13905},
    url = {https://aclanthology.org/2024.lrec-main.1213},
    note = {\url{https://arxiv.org/abs/2404.01657}}
}

许可证

MIT许可证