🚀 SmolLM3

SmolLM3是一款拥有30亿参数的语言模型，旨在突破小模型的性能边界。它支持6种语言，具备强大的推理能力和长上下文处理能力，是一款完全开源的模型，在30 - 40亿参数规模下表现出色。

🚀 快速开始

安装依赖

SmolLM3的建模代码在transformers v4.53.0 版本中可用，请确保升级你的transformers版本。你也可以使用最新的 vllm 加载模型，它以transformers为后端。

pip install -U transformers

代码示例

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"
device = "cuda" # 用于GPU使用，或 "cpu" 用于CPU使用
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 对于多GPU，安装accelerate并使用 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

本地推理

对于本地推理，你可以使用 llama.cpp、ONNX、MLX 和 MLC。你可以在这个集合（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）中找到量化的检查点。

长上下文处理

当前的 config.json 设置的上下文长度最大为65,536个标记。要处理更长的输入（128k或256k），我们使用YaRN，你可以将 max_position_embeddings 和 rope_scaling 修改为：

{
  ...,
  "rope_scaling": {
    "factor": 2.0, # 2x65536 = 131,072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

✨ 主要特性

• 混合推理优化：针对混合推理进行了优化的指令模型。
• 完全开源：开放模型权重和完整的训练细节，包括公开的数据混合和训练配置。
• 长上下文支持：在64k上下文上进行训练，并使用YARN外推法支持最多128k个标记。
• 多语言支持：原生支持6种语言（英语、法语、西班牙语、德语、意大利语和葡萄牙语）。

更多详细信息请参考我们的博客文章：https://hf.co/blog/smollm3

📚 详细文档

模型概述

SmolLM3是一个仅解码器的Transformer模型，使用了GQA和NoPE技术。它在11.2T标记上进行了预训练，采用了包括网络、代码、数学和推理数据的分阶段课程。训练后包括在140B推理标记上进行中间训练，然后通过锚定偏好优化（APO）进行有监督的微调与对齐。

评估

在本节中，我们报告了SmolLM3模型的评估结果。除非另有说明，所有评估均为零样本评估，我们使用 lighteval 进行评估。我们用粗体突出显示最佳分数，用下划线标记第二佳分数。

基础预训练模型

英文基准测试

多语言基准测试

该模型还在阿拉伯语（标准语）、中文和俄语数据上进行了训练，但与上述6种语言相比，这些语言的标记数量较少。我们报告这些语言的性能仅供参考。

指令模型

无扩展思考

非推理模型和推理模型在无思考模式下的评估结果。我们用粗体突出显示最佳和第二佳分数。

(*)：这是一个工具调用微调模型。

扩展思考

SmolLM3和Qwen3模型在推理模式下的评估结果：

训练

模型

• 架构：Transformer解码器
• 预训练标记：11T
• 精度：bfloat16

软件与硬件

• GPU：384个H100
• 训练框架：nanotron
• 数据处理框架：datatrove
• 评估框架：lighteval
• 训练后框架：TRL

开放资源

这里有一个包含所有训练细节的信息图。

• 预训练使用的数据集可以在这个 集合 中找到，中间训练和训练后使用的数据集将在接下来的几周内发布。
• 训练和评估配置及代码可以在 huggingface/smollm 仓库中找到。

🔧 技术细节

模型架构

SmolLM3采用了仅解码器的Transformer架构，并使用了GQA和NoPE技术，以提升模型的性能和效率。

训练过程

模型在11.2T标记上进行预训练，采用了分阶段的课程，包括网络、代码、数学和推理数据。训练后包括在140B推理标记上进行中间训练，然后通过锚定偏好优化（APO）进行有监督的微调与对齐。

📄 许可证

本项目采用 Apache 2.0 许可证。

⚠️ 重要提示

SmolLM3可以生成关于各种主题的文本，但生成的内容可能并不总是事实准确、逻辑一致，或者不受训练数据中存在的偏差影响。这些模型应作为辅助工具使用，而不是信息的最终来源。用户应始终验证重要信息，并批判性地评估任何生成的内容。