library_name: transformers language:

• en license: cc-by-nc-4.0

模型信息

我们推出Nemotron-UltraLong-8B系列超长上下文语言模型，专为处理超长文本序列（最高支持100万、200万和400万token）而设计，同时在标准基准测试中保持卓越性能。该系列基于Llama-3.1架构，通过结合高效持续预训练与指令微调的系统化训练方案，显著提升了长上下文理解与指令遵循能力。这种方法使我们的模型能够在不牺牲通用性能的前提下，高效扩展上下文窗口。

UltraLong系列模型

• nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct

使用方法

从transformers >= 4.43.0版本开始，您可以使用Transformers的pipeline抽象或结合generate()函数的Auto类来运行对话推理。

请通过pip install --upgrade transformers确保更新您的transformers库。

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，永远用海盗口吻回答！"},
    {"role": "user", "content": "你是谁？"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

模型卡片

• 基础模型: meta-llama/Llama-3.1-8B-Instruct
• 持续预训练: 训练数据包含10亿token，源自根据样本长度进行领域上采样的预训练语料库。模型以100万token的序列长度和8的全局批次大小训练了125轮迭代。
• 监督微调(SFT): 在通用、数学和代码领域的开源指令数据集上进行10亿token训练。数据来自AceMath-Instruct的'general_sft_stage2'子集。
• 最大上下文窗口: 100万token

评估结果

我们在多样化基准测试中评估Nemotron-UltraLong-8B，包括长上下文任务（如RULER、LV-Eval和InfiniteBench）和标准任务（如MMLU、MATH、GSM-8K和HumanEval）。UltraLong-8B在超长上下文任务中表现卓越，同时在标准基准测试中保持竞争力。

大海捞针测试

长上下文评估

标准能力评估

联系方式

徐澈健 (chejian2@illinois.edu), 平伟 (wping@nvidia.com)

引用文献

@article{ulralong2025,
  title={从128K到4M：超长上下文大语言模型的高效训练},
  author={徐澈健 and 平伟 and 徐鹏 and 刘子涵 and 王博鑫 and Mohammad Shoeybi and Bryan Catanzaro},
  journal={arXiv预印本},
  year={2025}
 }