library_name: transformers language:

• en license: cc-by-nc-4.0

模型信息

我们推出Nemotron-UltraLong-8B系列超长上下文语言模型，该系列模型专为处理超长文本序列（最高支持100万、200万和400万标记）而设计，同时在标准基准测试中保持卓越性能。基于Llama-3.1架构的UltraLong-8B采用系统性训练方案，通过高效持续预训练与指令微调相结合的方式，显著提升长文本理解与指令遵循能力。这种方法使我们的模型能够在不牺牲通用性能的前提下，高效扩展上下文窗口。

UltraLong系列模型

• nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct

使用说明

从transformers >= 4.43.0版本开始，您可以使用Transformers的pipeline抽象或通过Auto类结合generate()函数进行对话推理。

请确保通过pip install --upgrade transformers更新您的transformers安装包。

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是个海盗聊天机器人，回答时请始终使用海盗口吻！"},
    {"role": "user", "content": "你是谁？"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

模型卡片

• 基础模型: meta-llama/Llama-3.1-8B-Instruct

• 持续预训练: 训练数据包含10亿标记，源自预训练语料库并基于样本长度进行分域上采样。模型以400万标记的序列长度和全局批次大小2进行了150次迭代训练。

• 监督微调(SFT): 在通用、数学和代码领域的开源指令数据集上进行10亿标记训练。数据来自AceMath-Instruct的'general_sft_stage2'子集。

• 最大上下文窗口: 400万标记

评估结果

我们在多样化基准测试中评估Nemotron-UltraLong-8B，包括长上下文任务（如RULER、LV-Eval和InfiniteBench）和标准任务（如MMLU、MATH、GSM-8K和HumanEval）。UltraLong-8B在超长上下文任务中表现卓越，同时在标准基准测试中保持竞争力。

大海捞针测试

长上下文评估

标准能力评估

联系方式

徐澈剑 (chejian2@illinois.edu), 平伟 (wping@nvidia.com)

引用文献

@article{ulralong2025,
  title={从128K到4M：超长上下文大语言模型的高效训练},
  author={徐澈剑 and 平伟 and 徐鹏 and 刘子涵 and 王博鑫 and Mohammad Shoeybi and Bryan Catanzaro},
  journal={arXiv预印本},
  year={2025}
 }