mGPT

mGPT是基于mC4数据集采用因果语言建模目标进行预训练的模型。该模型由此论文首次提出，并在本页面发布初始版本。

模型描述

mGPT是基于Transformer架构的模型，其预训练数据涵盖101种语言的大规模多语种文本。与GPT-2类似，该模型仅通过原始文本进行预训练，未使用任何人工标注数据。我们采用了与mT5模型相同的分词器和词汇表。

应用场景

用户可直接使用该原始模型进行文本生成，或通过提示词(prompt)将其适配至下游任务。

使用方法

可通过文本生成管道(pipeline)直接调用本模型。以下示例展示如何在PyTorch中获取给定文本的特征表示：

from transformers import MT5Tokenizer, GPT2LMHeadModel, TextGenerationPipeline

tokenizer = MT5Tokenizer.from_pretrained("THUMT/mGPT")
model = GPT2LMHeadModel.from_pretrained("THUMT/mGPT")

pipeline = TextGenerationPipeline(model=model, tokenizer=tokenizer)
text = "请替换为任意文本内容"
text = pipeline(text, do_sample=True,  max_length=1024)[0]["generated_text"]

预处理流程

文本采用sentencepiece进行分词处理，词汇表规模为250,100。输入为1024个连续token组成的序列。文档中的行间分隔使用<extra_id_0>标记。

BibTeX引用信息

@misc{tan2021msp,
    title={MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators},
    author={Zhixing Tan and Xiangwen Zhang and Shuo Wang and Yang Liu},
    year={2021},
    eprint={2110.06609},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}