语言: 中文
数据集: 金庸
推理参数:
最大生成长度: 108
返回序列数: 1
启用随机采样: 是
示例输入:

• 文本: "杨过朗声说道：今番良晤，豪兴不浅，他日江湖相逢，再当杯酒言欢。咱们就此别过。 -"
  标题: "神雕侠侣"
• 文本: "乱世之际，人不如狗。 -"
  标题: "射雕英雄传"

飞雪连天射白鹿，笑书神侠倚碧鸳

模型描述

该模型用于生成金庸风格的小说续写，根据给定开头自动延续文本。

使用方法

通过pipeline调用模型:

>>> # 调用微调后的模型
>>> 例句="这些雪花落下来,多么白,多么好看.过几天太阳出来,每一片雪花都变得无影无踪.到得明年冬天,又有许很多多雪花,只不过已不是今年这些雪花罢了。"
>>> 模型ID="jinyong-gpt2-finetuning"
>>> from transformers import AutoTokenizer, GPT2LMHeadModel, TextGenerationPipeline

>>> 分词器 = AutoTokenizer.from_pretrained(模型ID) 
>>> 模型 = GPT2LMHeadModel.from_pretrained(模型ID)
>>> 文本生成器 = TextGenerationPipeline(模型, 分词器)   
>>> 文本生成器.model.config.pad_token_id = 文本生成器.model.config.eos_token_id
>>> 文本生成器(例句, max_length=108, do_sample=True)
[{'生成文本': '这些雪花落下来,多么白,多么好看.过几天太阳出来,每一片雪花都变得无影无踪.到得明年冬天,又有许很多多雪花,只不过已不是今年这些雪花罢了。反正老天爷有眼，不知哪里是甚么风险？”正说到此处，突然听得谢逊啸声渐近，忍不住张口惊呼，一齐向他扑去，只听谢逊一声怒吼，跟着左手用力拍出一掌，以掌力化开。众人吃了一惊，同时从海道中跃出，双双倒退。张翠山和殷素素对望一眼，均想以这两大高手之力如何抵挡，以今日之力如何攻敌之'}]

PyTorch调用方式:

from transformers import AutoTokenizer, AutoModelForCausalLM

分词器 = AutoTokenizer.from_pretrained("supermy/jinyong-gpt2")
模型 = AutoModelForCausalLM.from_pretrained("supermy/jinyong-gpt2")

训练数据

基于金庸全集【飞雪连天射白鹿，笑书神侠倚碧鸳】进行训练。

训练过程

基础模型: GPT2
训练硬件: NVIDIA 16G显卡

BPE分词词汇量: 30000

[训练信息]
训练样本数 = 9443  
训练轮次 = 368  
单设备批大小 = 12  
可训练参数量 = 124,439,808  
最终训练损失 = 0.8725  
评估准确率 = 0.196  
困惑度 = 2842.28

完整训练耗时: 20小时47分钟
训练样本吞吐速度: 46.42样本/秒
评估样本吞吐速度: 35.94样本/秒

关键训练指标:

初始损失: 8.0431 → 最终损失: 2.7087
学习率从4.97e-5衰减至4.26e-8