许可证：Apache-2.0
语言：

• 英文

基础模型：

• Qwen/Qwen3-0.6B

任务标签：文本生成
库名称：transformers

标签：

• 混合专家模型
• Qwen3
• 代码
• 数学
• 推理
• 医学
• 指令遵循
• 条件判断

数据集：

• nvidia/OpenCodeReasoning
• unsloth/OpenMathReasoning-mini
• patrickfleith/instruction-freak-reasoning
• FreedomIntelligence/medical-o1-reasoning-SFT
• Malikeh1375/medical-question-answering-datasets
• Myashka/SO-Python_QA-filtered-2023-no_code-tanh_score
• ArdentTJ/t1_daily_conversations

"我们每个人都是某些领域的专家，但同时也是其他领域的初学者。"
——《模仿游戏》（2014）

Arcana Qwen3 2.4B A0.6B

这是一个混合专家（Mixture of Experts，MoE）Qwen3模型，总参数量为24亿，每个专家模型参数量为6亿（共4个专家）。所有专家模型如下所示。该模型旨在以更高效率和更低内存占用提供更准确的结果！

专家模型：

关键训练参数（SFTConfig）

• 单设备训练批次大小 = 2
• 梯度累积步数 = 4
• 预热步数 = 5
• 训练轮次 = 1
• 学习率 = 2e-5
• 优化器 = "adamw_8bit"
• 权重衰减 = 0.01
• 随机种子 = 3407

代码专家：

suayptalha/Qwen3-0.6B-Code-Expert

该模型使用BF16精度在nvidia/OpenCodeReasoning数据集前2万行上进行了完整微调，训练1轮。

数学专家：

suayptalha/Qwen3-0.6B-Math-Expert

该模型使用BF16精度在完整unsloth/OpenMathReasoning-mini数据集上进行了完整微调，训练1轮。

医学专家：

suayptalha/Qwen3-0.6B-Medical-Expert

该模型使用BF16精度在FreedomIntelligence/medical-o1-reasoning-SFT数据集前2万行上进行了完整微调，训练1轮。

指令遵循专家：

Qwen/Qwen3-0.6B

直接使用Qwen/Qwen3-0.6B原始模型，未进行微调。

路由模型：

路由模型在此，基于distilbert/distilbert-base-uncased在7个不同数据集上训练得到。

使用方法：

import torch
from huggingface_hub import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

local_dir = snapshot_download(
    repo_id="suayptalha/Qwen3-2.4B-A0.6B",
)

model = AutoModelForCausalLM.from_pretrained(
    local_dir,
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(
    local_dir,
)

model.to(device)
model.eval()

prompt = "我胸口疼，该怎么办？"
messages = [{"role": "user", "content": prompt}]

prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

with torch.no_grad():
    output_ids = model.generate(
        text=prompt,
        max_new_tokens=1024,
        temperature=0.6,
        top_p=0.95,
    )
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(output_text)

许可证：

本项目采用Apache 2.0许可证，详见LICENSE文件。

支持：