🚀 SmolLM3

SmolLM3是一款参数为30亿的语言模型，旨在突破小模型的性能边界。它支持6种语言，具备高级推理能力和长上下文处理能力，是一个完全开源的模型，在30 - 40亿参数规模下表现出色。

🚀 快速开始

SmolLM3的建模代码在transformers v4.53.0 版本中可用，因此请确保升级你的transformers版本。你也可以使用最新的 vllm 加载模型，它以transformers为后端。

pip install -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # 用于GPU使用，或 "cpu" 用于CPU使用

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# 准备模型输入
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成输出
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 获取并解码输出
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

💡 使用建议

建议在采样参数中设置 temperature=0.6 和 top_p=0.95。

✨ 主要特性

• 专为混合推理优化的指令模型
• 完全开源模型：开放权重 + 完整的训练细节，包括公开的数据混合和训练配置
• 长上下文处理：在64k上下文上进行训练，并使用YARN外推支持高达128k的标记
• 多语言支持：原生支持6种语言（英语、法语、西班牙语、德语、意大利语和葡萄牙语）

更多详细信息请参考我们的博客文章：https://hf.co/blog/smollm3

📦 安装指南

若要使用SmolLM3，需确保transformers版本为 v4.53.0，可通过以下命令进行升级：

pip install -U transformers

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # 用于GPU使用，或 "cpu" 用于CPU使用

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# 准备模型输入
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成输出
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 获取并解码输出
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

长上下文处理

当前的 config.json 配置为支持最长65,536个标记的上下文长度。若要处理更长的输入（128k或256k），可使用YaRN并将 max_position_embeddings 和 rope_scaling 修改为：

{
  ...,
  "rope_scaling": {
    "factor": 2.0, #2x65536=131 072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

启用和禁用扩展思考模式

默认情况下启用扩展思考模式，因此上述示例会生成带有推理轨迹的输出。若要选择是否启用扩展思考模式，可通过系统提示提供 /think 和 /no_think 标志，如下例所示为禁用扩展思考模式的代码：

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "system", "content": "/no_think"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

也可以通过 enable_thinking 关键字参数指定是否使用扩展思考模式，如下例所示：

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)

代理式使用

SmolLM3支持工具调用！只需传递工具列表：

• 在 xml_tools 参数下用于标准工具调用：这些工具将作为XML标签内的JSON块调用，例如 <tool_call>{"name": "get_weather", "arguments": {"city": "Copenhagen"}}</tool_call>
• 或在 python_tools 参数下：模型将在 <code> 代码片段中像调用Python函数一样调用工具，例如 <code>get_weather(city="Copenhagen")</code>

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

tools = [
    {
        "name": "get_weather",
        "description": "Get the weather in a city",
        "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "The city to get the weather for"}}}}
]

messages = [
    {
        "role": "user",
        "content": "Hello! How is the weather today in Copenhagen?"
    }
]

inputs = tokenizer.apply_chat_template(
    messages,
    enable_thinking=False, # True 也可以，由你选择！
    xml_tools=tools,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
)

outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

使用自定义系统指令

你可以通过系统提示指定自定义指令，同时控制是否使用扩展思考模式。例如，以下代码展示了如何在启用扩展思考模式的同时让模型像海盗一样说话：

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "system", "content": "Speak like a pirate./think"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

对于本地推理，你可以使用 llama.cpp、ONNX、MLX 和 MLC。可以在这个集合（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）中找到量化的检查点。

vLLM和SGLang

你可以使用vLLM和SGLang将模型部署为与OpenAI格式兼容的API。

SGLang

python -m sglang.launch_server --model-path HuggingFaceTB/SmolLM3-3B

vLLM

vllm serve HuggingFaceTB/SmolLM3-3B

设置 chat_template_kwargs

你可以在API请求中通过传递 chat_template_kwargs 参数为已部署的模型指定 chat_template_kwargs，例如 enable_thinking 和 xml_tools。

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "HuggingFaceTB/SmolLM3-3B",
  "messages": [
    {"role": "user", "content": "Give me a brief explanation of gravity in simple terms."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "max_tokens": 16384,
  "chat_template_kwargs": {"enable_thinking": false}
}'

📚 详细文档

评估

本节报告了SmolLM3模型的评估结果。除非另有说明，所有评估均为零样本评估，我们使用 lighteval 进行评估。

我们用粗体突出显示最佳分数，用下划线标记第二佳分数。

指令模型

无扩展思考模式

非推理模型和推理模型在无思考模式下的评估结果。我们用粗体突出显示最佳和第二佳分数。

(*): 这是一个工具调用微调模型

扩展思考模式

SmolLM3和Qwen3模型在推理模式下的评估结果：

基础预训练模型

英语基准测试

注意：除非另有说明，所有评估均为零样本评估。对于Ruler 64k评估，我们对具有32k上下文的Qwen模型应用YaRN以外推上下文长度。

多语言基准测试

该模型还在阿拉伯语（标准）、中文和俄语数据上进行了训练，但与上述6种语言相比，这些语言的标记数量较少。我们报告这些语言的性能仅供参考。

训练

模型

• 架构：Transformer解码器
• 预训练标记：11T
• 精度：bfloat16

软件与硬件

• GPU：384个H100
• 训练框架：nanotron
• 数据处理框架：datatrove
• 评估框架：lighteval
• 训练后框架：TRL

开放资源

以下是包含所有训练细节的信息图：

• 预训练使用的数据集可以在这个 集合 中找到，训练中和训练后使用的数据集将在稍后上传。
• 训练和评估配置及代码可以在 huggingface/smollm 仓库中找到。

🔧 技术细节

SmolLM3是一个仅解码器的Transformer模型，使用了GQA和NoPE（比例为3:1）。它在11.2T标记上进行了预训练，采用了包括网络、代码、数学和推理数据的分阶段课程。训练后包括在140B推理标记上进行中期训练，随后进行监督微调，并通过锚定偏好优化（APO）进行对齐。

📄 许可证

Apache 2.0

⚠️ 局限性

SmolLM3可以生成各种主题的文本，但生成的内容可能并不总是事实准确、逻辑一致，或者不受训练数据中存在的偏差影响。这些模型应作为辅助工具使用，而不是信息的最终来源。用户应始终验证重要信息，并批判性地评估生成的任何内容。