🚀 Superthoughts Lite v2 MOE Llama3.2模型

Superthoughts Lite v2 MOE Llama3.2是一款强大的文本生成模型，基于Llama-3.2架构，通过多专家（MOE）技术训练，在多种任务上表现出色，能为用户提供准确且高效的文本生成服务。

🚀 快速开始

使用该模型时，你需要遵循特定的系统提示格式，以确保获得最佳的输出效果。以下是系统提示的格式：

Thinking: enabled.

Follow this format strictly:
<think>
Write your step-by-step reasoning here.
Break down the problem into smaller parts.
Solve each part systematically.
Check your work and verify the answer makes sense.
</think>
[Your final answer after thinking].

✨ 主要特性

• 多领域适用：适用于化学、代码、数学、对话等多个领域，具有广泛的应用场景。
• 多专家协同：模型包含4个专家，分别负责聊天推理、数学推理、代码推理和科学推理，能够在不同任务上提供更准确的结果。
• 高效生成：能够生成多达16,380个令牌，上下文大小达到131072，可处理复杂的文本生成任务。
• 性能提升：相比前代模型Pinkstack/Superthoughts-lite-v1，在代码生成和文本性能上有显著提升。

📦 安装指南

文档未提供具体安装步骤，暂无法展示。

💻 使用示例

基础用法

文档未提供基础用法的代码示例，暂无法展示。

高级用法

文档未提供高级用法的代码示例，暂无法展示。

📚 详细文档

模型信息

模型训练

模型的训练过程分为两个阶段：

1. 基础模型训练：首先为所有专家创建一个基础模型，使用GRPO技术在meta-llama/Llama-3.2-1B-Instruct上进行微调。
2. 专家训练：使用SFT技术对每个潜在专家进行训练，训练完成后再次使用GRPO技术进行优化。

系统提示

使用该模型时，需要提供特定的系统提示，以引导模型生成思考过程和最终答案。系统提示格式如下：

Thinking: enabled.

Follow this format strictly:
<think>
Write your step-by-step reasoning here.
Break down the problem into smaller parts.
Solve each part systematically.
Check your work and verify the answer makes sense.
</think>
[Your final answer after thinking].

🔧 技术细节

模型通过多专家（MOE）技术，将不同的推理任务分配给不同的专家，从而提高模型在各个任务上的性能。在训练过程中，使用了GRPO和SFT技术，以确保模型能够学习到准确的推理过程。

📄 许可证

使用该模型需遵守LLAMA 3.2 COMMUNITY LICENSE。

⚠️ 重要提示

• 安全对齐有限：虽然模型进行了一定程度的安全对齐，但程度非常有限，模型有时可能会输出未经审查的内容。
• 可能产生幻觉：所有大型语言模型（包括本模型）都可能产生幻觉并输出虚假信息，使用时请务必仔细核对结果。
• 信息准确性：模型可能会根据自身认知编造信息，使用时请提供准确的信息。

GGUF模板

{{ if .Messages }}
{{- if or .System .Tools }}<|start_header_id|>system<|end_header_id|>
{{- if .System }}

{{ .System }}
{{- end }}
{{- if .Tools }}

You are a helpful assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the original use question.
{{- end }}
{{- end }}<|eot_id|>
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|>
{{- if and $.Tools $last }}

Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.

Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.

{{ $.Tools }}
{{- end }}

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}

{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }}
{{- else }}

{{ .Content }}{{ if not $last }}<|eot_id|>{{ end }}
{{- end }}
{{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|>

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- end }}
{{- end }}
{{- else }}
{{- if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}{{ .Response }}{{ if .Response }}<|eot_id|>{{ end }}

[GGUF !! Full precision !! BF16]