许可证: mit 库名称: transformers 流水线标签: 文本生成 标签:

• 思维链

代码库对应:

ThinkEdit-deepseek-llama3-8b

(我们还发布了ThinkEdit-deepseek-qwen-1.5b和ThinkEdit-deepseek-qwen-14b版本)

作者: 孙崇恩, 严戈, 翁翠薇
论文: ThinkEdit: 通过可解释权重编辑缓解推理模型中的过度简短思维

代码: https://github.com/Trustworthy-ML-Lab/ThinkEdit

简介

增强推理能力的模型有时会因生成过于简短、抽象的思维链(CoT)推理而失败，影响其准确性。

ThinkEdit是一种轻量级的权重编辑方法，能够:

• 识别约2%的"简短推理"注意力头
• 仅编辑约0.1%的总参数
• 从其输出中移除"简短推理"方向
• 提升性能，特别是在推理痕迹较短的案例上

完整性能结果

1. 总体准确率

2. 简短推理案例准确率(前5%/10%/20%)

3. 推理长度(前5%/10%/20%最短回答)

使用方法

ThinkEdit模型的使用方法与原始deepseek-distilled模型完全相同。

引用

@misc{sun2025thinkedit,
      title={ThinkEdit: 通过可解释权重编辑缓解推理模型中的过度简短思维},
      author={孙崇恩 and 严戈 and 翁翠薇},
      year={2025},
      eprint={2503.22048},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.22048},
}