library_name: transformers language:

• en license: cc-by-nc-4.0

模型信息

我们推出Nemotron-UltraLong-8B系列超长上下文语言模型，专为处理超长文本序列（最高支持100万、200万和400万标记）而设计，同时在标准基准测试中保持卓越性能。该系列基于Llama-3.1架构，通过系统化的训练方案——结合高效持续预训练与指令微调——显著提升了长上下文理解与指令遵循能力。这种方法使我们的模型能高效扩展上下文窗口，且不损失通用性能。

UltraLong系列模型

• nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct

使用方法

从transformers >= 4.43.0版本开始，您可通过Transformers的pipeline抽象或结合generate()函数的Auto类进行对话推理。请确保通过pip install --upgrade transformers更新安装包。

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，永远用海盗口吻回答！"},
    {"role": "user", "content": "你是谁？"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

模型卡片

• 基础模型：meta-llama/Llama-3.1-8B-Instruct
• 持续预训练：使用基于样本长度的领域上采样策略，从预训练语料库中选取10亿标记进行训练。模型以100万序列长度和8的全局批量大小训练125轮。
• 监督微调(SFT)：在通用、数学和代码领域的开源指令数据集上进行10亿标记训练，数据子采样自AceMath-Instruct的'general_sft_stage2'。
• 最大上下文窗口：100万标记

评估结果

我们在多样化基准测试中评估Nemotron-UltraLong-8B，包括长上下文任务（如RULER、LV-Eval和InfiniteBench）和标准任务（如MMLU、MATH、GSM-8K和HumanEval）。UltraLong-8B在超长上下文任务中表现卓越，同时在标准基准测试中保持竞争力。

大海捞针测试

长上下文评估

标准能力评估

联系信息

徐澈剑 (chejian2@illinois.edu), 平伟 (wping@nvidia.com)

引用文献

@article{ulralong2025,
  title={从128K到4M：超长上下文大语言模型的高效训练},
  author={徐澈剑 and 平伟 and 徐鹏 and 刘子涵 and 王博鑫 and Mohammad Shoeybi and Bryan Catanzaro},
  journal={arXiv预印本},
  year={2025}
 }