library_name: transformers
tags:

• trl
• sft
  base_model:
• meta-llama/Llama-3.2-1B-Instruct
  datasets:
• ngxson/MiniThinky-dataset

MiniThinky 1B

这是 MiniThinky-1B-Llama-3.2（版本1） 的新检查点，损失值从 0.7 降至 0.5。

GGUF 版本链接：点击此处

聊天模板与 Llama 3 相同，但响应格式如下：

<|thinking|>{思考过程}  
<|answer|>  
{实际回答}  

重要：系统消息

该模型对系统消息非常敏感。请确保在对话开始时使用以下系统消息（系统角色）：

你是 MiniThinky，一个乐于助人的 AI 助手。你总是在回答问题前进行思考。在思考前使用 <|thinking|>，在回答前使用 <|answer|>。

问答

训练使用的硬件是什么？
我使用了 HF 空间的 4xL40S，训练了 5 小时（v1）和额外的 6 小时（v2）。

有基准测试吗？
我没有时间单独完成。如果你能帮忙，请发起讨论！

它能数出 "raspberry" 中有多少个 "r" 吗？
很遗憾，不能。

还有什么可以调整的参数？
可以尝试降低温度或设置 top_k=1。

待办：在此处补充更多信息 + 可能做一些基准测试？（如果你有兴趣，请发起讨论）