base_model: Qwen/Qwen2.5-7B-Instruct library_name: transformers license: apache-2.0 tags:

• llama-factory
• generated_from_trainer model-index:
• name: WritingBench-Writing-Model-7b results: [] pipeline_tag: text-generation

写作专用模型-Qwen-7b

📃 [论文] • 🚀 [Github仓库] • 📏 [评审模型] • ✍️ [写作7B版] [写作32B版]

本模型基于Qwen/Qwen2.5-7B-Instruct微调，使用12K规模的SFT数据集进行写作评估任务训练。

训练流程

训练超参数

训练采用以下超参数配置：

• 学习率：7e-06
• 训练批次大小：1
• 评估批次大小：8
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：32
• 梯度累积步数：4
• 总训练批次大小：128
• 总评估批次大小：256
• 优化器：使用adamw_torch，参数betas=(0.9,0.999)，epsilon=1e-08，无额外参数
• 学习率调度器类型：余弦退火
• 学习率预热比例：0.1
• 训练轮次：5

框架版本

• Transformers 4.46.1
• Pytorch 2.4.0+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3

📝 引用文献

@misc{wu2025writingbench,
      title={WritingBench：生成式写作综合基准}, 
      author={吴雨宁、梅嘉豪、严明、李晨亮、赖少鹏、任雨然、王子嘉、张骥、吴梦月、金琴、黄非},
      year={2025},
      url={https://arxiv.org/abs/2503.05244}, 
}