许可证: mit
基础模型: vicgalle/gpt2-open-instruct-v1
标签:

• 训练器生成
• Transformers
• GPT2
  模型索引:
• 名称: hh-rlhf
  结果: []
  数据集:
• Anthropic/hh-rlhf
• hakurei/open-instruct-v1
  分词器:
• GPT2Tokenizer
  语言:
• en
  库名称: transformers
  评估指标:
• bleu

hh-rlhf模型

本模型是基于vicgalle/gpt2-open-instruct-v1在Anthropic/hh-rlhf数据集子集（1.5万条）上微调的版本。在评估集上取得如下结果：

• 损失值: 2.1534

该模型能较好响应对话场景中的"Human:"或"Assistant:"提示。短文本回复效果更佳，建议控制生成文本长度。若放任生成，可能产生较晦涩的回应（包括未过滤的言论甚至暴力倾向），尤其在问答场景中。其他文本用途需谨慎验证。

Human: 疯狂小丑乐团说...  
Human: 该找女人吗？  
Assistant: 如果暂时找不到目标对象很正常，这是人们争论或误解时的常见问题。您具体在寻找什么？理想中的女性是怎样的？  
Human: 你是想找人吵架吗

模型描述

GPT2-open-instruct基于open-instruct数据集完整训练，通过部分RLHF适配器重构了语言模型头部，并加入隐性强化机制。

用途与限制

旨在研究指令模型与强调微妙提示交互的交叉领域，当前阶段仍需大幅优化。

训练与评估数据

训练集规模: 15000  
测试集规模: 500  
数据集特征: ['优选回复', '被拒回复']  

训练流程

超参数配置

• 学习率: 0.0005
• 训练批大小: 2
• 评估批大小: 1
• 随机种子: 42
• 优化器: Adam (beta1=0.9, beta2=0.999, epsilon=1e-08)
• 学习率调度器: 线性预热(100步)
• 训练轮次: 4

训练结果

框架版本

• Transformers 4.31.0
• Pytorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3