库名称：transformers
许可证：其他
许可证链接：LICENSE
基础模型：sbintuitions/sarashina2.1-1b
标签：

• 训练生成
  指标：
• 皮尔逊相关系数
• 斯皮尔曼相关系数
  语言：
• 日语

日本小说奖励模型-sarashina2.1-1b

此模型通过对sbintuitions/sarashina2.1-1b进行微调而创建，旨在评估日语小说的质量。

主要面向小说生成模型的强化学习等应用场景。

通过回归预测用户对输入小说文本的评价，间接评估文本质量。但需注意，模型可能受到文本质量以外的多种偏差（如题材、文体等）的影响。

Sarashina模型遵循Sarashina模型非商业许可协议，版权所有©SB Intuitions Corp. 保留所有权利。

使用方法

请预先安装transformers及flash attention 2等依赖库。

from transformers import pipeline  
import torch  

model_name = "Aratako/Japanese-Novel-Reward-sarashina2.1-1b"  

classifier = pipeline("text-classification", model=model_name, tokenizer=model_name, max_length=8192, truncation=True, device_map="auto", torch_dtype=torch.bfloat16)  

# 以下示例文本来自o1-pro生成内容  
text1 = """（示例科幻小说片段，约800字）"""  
text2 = """（示例单调叙事片段，约400字）"""  

print(classifier([text1, text2]))  

输出示例：

[{'label': 'LABEL_0', 'score': 8.375}, {'label': 'LABEL_0', 'score': 6.78125}]  

根据训练数据特性，输出分值预期在0-10范围内，但可能产生超出该范围的异常值。

训练超参数

关键训练参数：

• 学习率：1e-05
• 训练批次大小：4
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：16
• 优化器：paged_adamw_8bit
• 学习率调度器：cosine_with_min_lr
• 学习率预热比例：0.1
• 训练轮次：3
• 最大长度：8192

训练结果

采用验证集损失最低的模型版本：

1. 验证集指标

   • 损失值：1.1625
   • 平均绝对误差：0.7953
   • R2分数：0.4308
   • 皮尔逊系数：0.6615
   • 斯皮尔曼系数：0.6458

2. 测试集指标

   • 损失值：1.0627
   • 平均绝对误差：0.7734
   • R2分数：0.4137
   • 皮尔逊系数：0.6549
   • 斯皮尔曼系数：0.6483

3. 测试集预测分布

   • 散点图：
   • 误差直方图：

许可条款

继承原始模型的Sarashina模型非商业许可协议，使用时请严格遵守各项限制条款。

框架版本

• Transformers 4.49.0
• Pytorch 2.6.0+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0