库名称：transformers
许可证：mit
基础模型：sbintuitions/modernbert-ja-310m
标签：

• 训练生成
  指标：
• 皮尔逊相关系数
• 斯皮尔曼相关系数
  语言：
• 日语

日语小说奖励模型-modernbert-ja-310m

该模型是基于sbintuitions/modernbert-ja-310m微调而成的日语小说质量评估奖励模型。

主要面向小说生成模型的强化学习等应用场景。

通过回归预测用户对输入小说文本的评价，间接评估文本质量。但请注意，模型可能受到文本质量以外的多种偏差（如题材、文体等）的影响。

使用方法

请预先安装transformers或flash attention 2等库。

from transformers import pipeline  
import torch  

model_name = "Aratako/Japanese-Novel-Reward-modernbert-ja-310m"  

classifier = pipeline("text-classification", model=model_name, tokenizer=model_name, max_length=8192, truncation=True, device_map="auto", torch_dtype=torch.float32)  

# 以下示例文本来自o1-pro生成内容  
text1 = """（示例小说内容已省略）"""  

text2 = """（示例小说内容已省略）"""  

print(classifier([text1, text2]))  

输出示例

[{'label': 'LABEL_0', 'score': 8.766033172607422}, {'label': 'LABEL_0', 'score': 7.880279064178467}]  

根据训练数据特性，输出值预期在0~10范围内，但可能出现超出该范围的异常值。

训练超参数

主要训练超参数如下：

• 学习率：1e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：2
• 总训练批次大小：16
• 优化器：adamw_torch
• 学习率调度器：cosine_with_min_lr
• 学习率预热比例：0.1
• 训练轮次：5
• 最大长度：8192

训练结果

采用验证集损失最低的模型：

1. 验证集指标

• 损失：1.2121
• 平均绝对误差：0.8059
• R2分数：0.4065
• 皮尔逊系数：0.6418
• 斯皮尔曼系数：0.6175

2. 测试集指标

• 损失：1.0892
• 平均绝对误差：0.7812
• R2分数：0.3990
• 皮尔逊系数：0.6383
• 斯皮尔曼系数：0.6272

3. 测试集预测结果分布

• 散点图
  
• 误差分布
  

许可证

基于MIT协议开源。

框架版本

• Transformers 4.49.0
• Pytorch 2.4.1+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0