library_name: transformers language:

• en license: cc-by-nc-4.0

模型信息

我们推出Nemotron-UltraLong-8B系列超长上下文语言模型，专为处理超长文本序列（最高支持100万、200万和400万标记）而设计，同时在标准基准测试中保持卓越性能。该系列基于Llama-3.1架构，通过结合高效持续预训练与指令微调的系统化训练方案，显著提升了长上下文理解与指令遵循能力。这种方法使我们的模型能高效扩展上下文窗口，同时不牺牲通用性能。

UltraLong系列模型

• nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct

使用方法

从transformers >= 4.43.0版本开始，您可以使用Transformers的pipeline抽象或通过generate()函数配合Auto类进行对话推理。

请确保通过pip install --upgrade transformers更新您的transformers安装。

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，永远用海盗口吻回答！"},
    {"role": "user", "content": "你是谁？"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

模型卡片

• 基础模型：meta-llama/Llama-3.1-8B-Instruct

• 持续预训练：训练数据包含10亿标记，来自根据样本长度进行领域上采样的预训练语料库。模型以400万标记的序列长度和全局批次大小2进行了150次迭代训练。

• 监督微调(SFT)：在通用、数学和代码领域的开源指令数据集上进行了10亿标记的训练。数据来自AceMath-Instruct的'general_sft_stage2'子集。

• 最大上下文窗口：400万标记

评估结果

我们在多样化基准测试中评估Nemotron-UltraLong-8B，包括长上下文任务（如RULER、LV-Eval和InfiniteBench）和标准任务（如MMLU、MATH、GSM-8K和HumanEval）。UltraLong-8B在超长上下文任务中表现卓越，同时在标准基准测试中保持竞争力。

大海捞针测试

长上下文评估

标准能力评估

联系方式

徐澈剑 (chejian2@illinois.edu), 平伟 (wping@nvidia.com)

引用文献

@article{ulralong2025,
  title={从128K到4M：超长上下文大语言模型的高效训练},
  author={徐澈剑 and 平伟 and 徐鹏 and 刘子涵 and 王博鑫 and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv预印本},
  year={2025}
 }