许可协议: MIT
标签:

• 自然语言处理
• 数学
  语言:
• 英语
  任务类型: 文本生成

Rho-1：并非所有标记都是你所需的

[📜 预印本] • [💬 HF论文] • [🤗 模型] • [🐱 GitHub]

图1：Rho-1通过选择性语言建模（SLM）进行预训练。SLM将GSM8k和MATH数据集的平均少样本准确率提升超过16%，仅需5-10倍训练时间即可达到基线性能。

🔥 最新动态

• [2024/04/12] 🔥🔥🔥 Rho-Math-v0.1模型已在🤗 HuggingFace发布！
  • Rho-Math-1B与Rho-Math-7B在MATH数据集上分别达到15.6%和31.0%的少样本准确率——仅用3%的预训练标记量即媲美DeepSeekMath。
  • Rho-Math-1B-Interpreter是首个在MATH上准确率超过40%的10亿参数大模型。
  • Rho-Math-7B-Interpreter仅用69k样本微调便在MATH数据集达到52%准确率。
• [2024/04/11] Rho-1论文与代码库正式公开。

💡 核心创新

Rho-1基础模型采用选择性语言建模（SLM）进行预训练，仅筛选与目标分布对齐的优质有效标记进行训练。

选择性语言建模（SLM）

图2： 上：即使经过严格过滤的预训练语料仍存在标记级噪声。 左：传统因果语言建模（CLM）对所有标记进行训练。 右：我们提出的SLM方法仅对有效清洁的标记计算损失。

图3：选择性语言建模流程。 SLM通过聚焦高价值标记优化预训练效果，包含三步： (1) 在优质数据上训练参考模型 (2) 用参考模型评分语料标记损失 (3) 选择损失高于参考值的标记进行训练

评估结果

基础模型（少样本思维链）：

工具集成推理（代码解释器）：

🚀 快速开始

评估

git clone git@github.com:microsoft/rho.git
cd rho-1/math-evaluation-harness

基础模型少样本评估：

bash scripts/run_eval.sh cot microsoft/rho-math-7b-v0.1

微调模型（代码解释器）评估：

bash scripts/run_eval.sh tora microsoft/rho-math-7b-interpreter-v0.1

复现结果详见rho-1/outputs.zip。

☕️ 引用

若使用本成果，请引用：

@misc{lin2024rho1,
      title={Rho-1：并非所有标记都是你所需的}, 
      author={林正浩、苟志斌、龚业钧、刘骁、沈业龙、徐若辰、林晨、杨玉久、焦剑、段楠、陈伟柱},
      year={2024},
      eprint={2404.07965},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}