许可协议: MIT
数据集:

• Anthropic/hh-rlhf
  评估指标:
• 准确率

基于Anthropic/hh-rlhf帮助性数据集训练的GPT2大模型。该模型专用于帮助性响应检测或RLHF（基于人类反馈的强化学习）。在测试集上达到了0.72621的准确率，与更大规模的其他模型表现接近。

注意：

1. 推理时请使用Anthropic/hh-rlhf数据集的格式。
2. 该奖励模型与其他基于完整Anthropic/hh-rlhf数据集训练的开源奖励模型不同。

使用方法：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

rm_tokenizer = AutoTokenizer.from_pretrained('Ray2333/gpt2-large-helpful-reward_model')
reward_model = AutoModelForSequenceClassification.from_pretrained(
                'Ray2333/gpt2-large-helpful-reward_model',
                num_labels=1, torch_dtype=torch.bfloat16,
                device_map=0,
                )
q, a = "\n\nHuman: 我刚出狱，对未来有什么建议吗？\n\nAssistant:", "抱歉，我不明白。"
inputs = rm_tokenizer(q, a, return_tensors='pt', truncation=True)
with torch.no_grad():
  reward = reward_model(**(inputs.to(0))).logits[0].cpu().detach().item()

参考文献

该奖励模型被用于ICML 2024的"Rewards-in-context"项目中的多目标对齐（特别是"无害性"和"帮助性"对齐）。

@article{yang2024rewards,
  title={上下文中的奖励：通过动态偏好调整实现基础模型的多目标对齐},
  author={杨睿、潘小曼、罗峰、邱爽、钟涵、俞栋、陈建树},
  journal={国际机器学习会议},
  year={2024}
}