🚀 Wenzhong-GPT2-110M

Wenzhong-GPT2-110M是中文版的GPT2-Small，善于处理NLG任务，为自然语言生成提供了有效的解决方案。

• 主页：Fengshenbang
• GitHub：Fengshenbang-LM

✨ 主要特性

Wenzhong-GPT2-110M专注于处理NLG任务，是中文版的GPT2-Small，能够高效地完成自然语言生成工作。

📦 安装指南

使用此模型前，你需要安装transformers库。你可以使用以下命令进行安装：

pip install transformers

💻 使用示例

基础用法

from transformers import GPT2Tokenizer,GPT2LMHeadModel
hf_model_path = 'IDEA-CCNL/Wenzhong-GPT2-110M'
tokenizer = GPT2Tokenizer.from_pretrained(hf_model_path)
model = GPT2LMHeadModel.from_pretrained(hf_model_path)

高级用法

question = "北京是中国的"
inputs = tokenizer(question,return_tensors='pt')
generation_output = model.generate(**inputs,
                                return_dict_in_generate=True,
                                output_scores=True,
                                max_length=150,
                                # max_new_tokens=80,
                                do_sample=True,
                                top_p = 0.6,
                                # num_beams=5,
                                eos_token_id=50256,
                                pad_token_id=0,
                                num_return_sequences = 5)

for idx,sentence in enumerate(generation_output.sequences):
    print('next sentence %d:\n'%idx,
    tokenizer.decode(sentence).split('<|endoftext|>')[0])
    print('*'*40)

📚 详细文档

模型分类

模型信息

类似于Wenzhong2.0-GPT2-3.5B-chinese，我们实现了一个small版本的12层的Wenzhong-GPT2-110M，并且在悟道（300G版本）上面进行预训练。

📄 许可证

本项目采用Apache-2.0许可证。

📚 引用

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}