库名称: transformers
许可证: mit
基础模型: sbintuitions/modernbert-ja-130m
标签:

• 训练生成
  指标:
• 皮尔逊相关系数
• 斯皮尔曼相关系数
  语言:
• 日语

日语小说奖励模型-modernbert-ja-130m

该模型是通过对sbintuitions/modernbert-ja-130m进行微调而创建的，用于评估日语小说质量的奖励模型。

主要面向小说生成模型的强化学习等应用场景。

通过回归预测用户对输入小说文本的评价，间接评估文本质量。但请注意，预测结果可能受到除文本质量外的多种偏差（如题材、文体等）的影响。

使用方法

请预先安装transformers或flash attention 2等依赖库。

from transformers import pipeline  
import torch  

model_name = "Aratako/Japanese-Novel-Reward-modernbert-ja-130m"  

classifier = pipeline("text-classification", model=model_name, tokenizer=model_name, max_length=8192, truncation=True, device_map="auto", torch_dtype=torch.float32)  

# 以下示例文本来自o1-pro生成内容  
text1 = """（示例小说文本1，约800字科幻故事）"""  

text2 = """（示例小说文本2，约500字日常片段）"""  

print(classifier([text1, text2]))  

输出结果

[{'label': 'LABEL_0', 'score': 8.372932434082031}, {'label': 'LABEL_0', 'score': 6.732645034790039}]  

根据训练数据特性，输出分值通常在0-10范围内，但可能出现超出该范围的异常值。

训练超参数

主要训练参数如下：

• 学习率: 5e-05
• 训练批大小: 8
• 评估批大小: 8
• 随机种子: 42
• 梯度累积步数: 2
• 总训练批大小: 16
• 优化器: adamw_torch
• 学习率调度器: cosine_with_min_lr
• 学习率预热比例: 0.1
• 训练轮次: 5
• 最大长度: 8192

训练结果

采用验证集损失最低的模型版本：

1. 验证集指标

• 损失值: 1.3087
• 平均绝对误差: 0.8516
• R2分数: 0.3592
• 皮尔逊系数: 0.6119
• 斯皮尔曼系数: 0.6000

2. 测试集指标

• 损失值: 1.2451
• 平均绝对误差: 0.8403
• R2分数: 0.3130
• 皮尔逊系数: 0.5931
• 斯皮尔曼系数: 0.5922

3. 测试集预测分布

• 散点图
  
• 误差分布
  

许可证

依据MIT许可证开源。

框架版本

• Transformers 4.49.0
• Pytorch 2.4.1+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0