许可证：apache-2.0
数据集：

• SubMaroon/DTF_Comments_Responses_Counts
  语言：
• 俄语（ru）
  基础模型：
• unsloth/Qwen2.5-7B
  任务标签：文本生成

这是基于unsloth/Qwen2.5-7B模型的持续预训练版本，使用了unsloth的低秩适应技术（LoRA），训练数据来自DTF论坛的帖子数据集。适配器已与模型合并。

预训练数据筛选自SubMaroon/DTF_comments_Responses_Counts，通过简单的df.unique去重，并过滤出长度在1000至128000个标记之间的内容。训练数据集规模约为7500万标记。

LoRA超参数：

秩(r)=32  
目标模块=[
    "q_proj",  
    "k_proj",  
    "v_proj",  
    "o_proj",  
    "gate_proj",  
    "up_proj",  
    "down_proj",  
]  
LoRAα值=16  
LoRA丢弃率=0  
偏置="无"  
梯度检查点='unsloth'  
使用RSLoRA=True  
随机种子=42  

训练超参数：

训练轮数=2  
批次大小=8  
梯度累积步数=16  
梯度检查点=False  
优化器="adamw_8bit"  
权重衰减=4e-2  
BF16浮点=True  
学习率=5e-5  
学习率调度器="cosine"  
数据打包=True  
随机种子=42  

训练耗时：

• NVIDIA Tesla A100 80GB：约8.5小时
• NVIDIA RTX 3090Ti：约33.5小时

Wandb训练日志
GitHub项目：待补充