library_name: transformers language:

• en license: cc-by-nc-4.0

模型信息

我们推出Nemotron-UltraLong-8B系列超长上下文语言模型，专为处理超长文本序列（最高支持100万、200万和400万token）设计，同时在标准基准测试中保持卓越性能。该系列基于Llama-3.1架构，通过系统化的训练方案——将高效持续预训练与指令微调相结合——显著提升了长文本理解与指令遵循能力。这种方法使我们的模型能够在不牺牲通用性能的前提下，高效扩展上下文窗口。

UltraLong系列模型

• nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct

使用方式

从transformers >= 4.43.0版本开始，您可以使用Transformers的pipeline抽象或通过generate()函数配合Auto类进行对话推理。

请确保通过pip install --upgrade transformers更新安装包。

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，永远用海盗口吻回答！"},
    {"role": "user", "content": "你是谁？"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

模型卡片

• 基础模型：meta-llama/Llama-3.1-8B-Instruct
• 持续预训练：使用基于样本长度的领域上采样策略，从预训练语料库中选取10亿token进行训练。模型以200万token的序列长度和全局批次大小2训练了245步。
• 监督微调(SFT)：在通用、数学和代码领域的开源指令数据集上进行10亿token微调，数据来自AceMath-Instruct的'general_sft_stage2'子集。
• 最大上下文窗口：200万token

评估结果

我们在多样化基准测试中评估Nemotron-UltraLong-8B，包括长上下文任务（如RULER、LV-Eval和InfiniteBench）和标准任务（如MMLU、MATH、GSM-8K和HumanEval）。UltraLong-8B在超长上下文任务中表现卓越，同时在标准基准测试中保持竞争力。

大海捞针测试

长上下文评估

标准能力评估

联系人员

徐澈剑 (chejian2@illinois.edu), 平伟 (wping@nvidia.com)

引用文献

@article{ulralong2025,
  title={从128K到4M：高效训练超长上下文大语言模型},
  author={徐澈剑 and 平伟 and 徐鹏 and 刘子涵 and 王博鑫 and Mohammad Shoeybi and Bryan Catanzaro},
  journal={arXiv预印本},
  year={2025}
 }