🚀 Llama-3 8B Instruct Gradient 4194K (v0.1)

Llama-3 8B Instruct Gradient 4194K (v0.1) 模型由 Gradient 开发，在 Llama-3 8B 的基础上，将上下文长度从 8k 扩展到了 4194K。该模型通过适当调整 RoPE theta，展示了最先进的大语言模型（LLMs）可以在最少的训练下学会处理长上下文。

加入我们的自定义代理和长上下文（262k - 1M+）等待列表：点击加入

Gradient 可整合您的数据，部署自主助手，为您业务的关键运营提供支持。如果您想构建自定义 AI 模型或代理，请发送邮件至 contact@gradient.ai。

更多信息请查看我们的 自定义大语言模型和 AI 系统的端到端开发服务

✨ 主要特性

• 长上下文处理能力：将 Llama-3 8B 的上下文长度从 8k 扩展到 4194K，能够处理更长的文本输入。
• 高效训练：通过适当调整 RoPE theta，在最少的训练下实现长上下文处理能力。
• 渐进式训练：采用渐进式训练策略，在不断增加的上下文长度上进行训练。

📦 安装指南

本 README 未提供具体安装步骤，暂不展示安装指南。

💻 使用示例

基础用法

使用 Transformers 库进行推理

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

使用 Transformers 的 AutoModelForCausalLM 类进行推理

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

高级用法

本 README 未提供高级用法示例，暂不展示高级用法。

📚 详细文档

模型详情

Meta 开发并发布了 Meta Llama 3 系列大语言模型（LLMs），包括 8B 和 70B 两种规模的预训练和指令微调生成文本模型。Llama 3 指令微调模型针对对话用例进行了优化，在常见行业基准测试中表现优于许多可用的开源聊天模型。

预期用途

• 预期用例：Llama 3 旨在用于英语商业和研究。指令微调模型适用于类似助手的聊天，而预训练模型可用于各种自然语言生成任务。
• 超出范围：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以违反可接受使用政策和 Llama 3 社区许可证的任何其他方式使用。禁止用于英语以外的语言。

硬件和软件

• 训练因素：我们使用自定义训练库、Meta 的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算平台上进行。
• 碳足迹：预训练累计使用了 770 万 GPU 小时的 H100 - 80GB 硬件（TDP 为 700W）计算。估计总排放量为 2290 tCO2eq，其中 100% 由 Meta 的可持续发展计划抵消。

训练数据

• 概述：Llama 3 在超过 15 万亿个公开可用数据源的令牌上进行了预训练。微调数据包括公开可用的指令数据集以及超过 1000 万个手动标注的示例。预训练和微调数据集均不包含 Meta 用户数据。
• 数据新鲜度：8B 模型的预训练数据截止日期为 2023 年 3 月，70B 模型为 2023 年 12 月。

基准测试

基础预训练模型

指令微调模型

责任与安全

我们认为开放的 AI 方法可以带来更好、更安全的产品，更快的创新和更大的整体市场。我们致力于负责任的 AI 开发，并采取了一系列措施来限制滥用和危害，支持开源社区。

作为 Llama 3 发布的一部分，我们更新了 负责任使用指南，概述了开发者为其应用实现模型和系统级安全的步骤和最佳实践。我们还提供了一系列资源，包括 Meta Llama Guard 2 和 Code Shield 防护措施。

Llama 3 - Instruct

在负责任使用指南中指出，模型的有用性和对齐性之间可能存在一定的权衡。开发者应根据具体用例和受众，谨慎权衡对齐性和有用性的好处。在使用 Llama 模型时，开发者应注意残留风险，并根据需要使用额外的安全工具，以达到适合其用例的安全标准。

负责任发布

除了上述负责任使用考虑因素外，我们遵循严格的流程，在发布决策之前采取额外措施来防止滥用和关键风险。

社区

生成式 AI 安全需要专业知识和工具，我们相信开放社区的力量可以加速其发展。我们积极参与开放联盟，包括 AI 联盟、AI 合作组织和 MLCommons，积极为安全标准化和透明度做出贡献。

我们鼓励社区采用 MLCommons 概念验证评估等分类法，以促进安全和内容评估的协作和透明度。我们的 Purple Llama 工具已开源供社区使用，并广泛分发到包括云服务提供商在内的生态系统合作伙伴。我们鼓励社区为我们的 Github 仓库 做出贡献。

🔧 技术细节

方法

• 以 meta-llama/Meta-Llama-3-8B-Instruct 为基础模型。
• 采用 NTK 感知插值 [4] 并遵循缩放定律 [2] 来设置 RoPE theta 的最佳调度。
• 类似于 Large World Model [2]，在不断增加的上下文长度上进行渐进式训练（详见下文）。

基础设施

我们基于 EasyContext Blockwise RingAttention 库 [3] 构建，在 Crusoe Energy 高性能 L40S 集群上可扩展且高效地训练长达 1048k 令牌的上下文。

数据

对于训练数据，我们通过扩充 SlimPajama 生成长上下文。我们还基于 UltraChat [4] 在聊天数据集上进行微调，采用与 [2] 类似的数据扩充方法。

渐进式训练详情

评估详情

EVAL_MAX_CONTEXT_LENGTH=4194200
EVAL_MIN_CONTEXT_LENGTH=100
EVAL_CONTEXT_INTERVAL=260000
EVAL_DEPTH_INTERVAL=0.2
EVAL_RND_NUMBER_DIGITS=8

使用的 haystack 是 haystack #3，详情见此 博客文章。

量化

目前尚未发布量化版本。我们建议以 fp16 精度运行 KV Cache 以获得更高的准确性。

📄 许可证

本模型使用 Llama3 许可证。

引用

@misc{gradientlongcontextllama3,
  title={Llama 3 Gradient: A series of long context models},
  author={Leonid Pekelis and Michael Feil and Forrest Moret and Mark Huang and Tiffany Peng},
  year={2024},
  url = {https://gradient.ai/blog/scaling-rotational-embeddings-for-long-context-language-models}
}

参考文献

[1] Peng, Bowen, et al. "Yarn: Efficient context window extension of large language models." arXiv preprint arXiv:2309.00071 (2023).

[2] Liu, Hao, et al. "World Model on Million-Length Video And Language With RingAttention." arXiv preprint arXiv:2402.08268 (2024).

[3] https://github.com/jzhang38/EasyContext

[4] Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, and Bowen Zhou. Enhancing chat language models by scaling high-quality instructional conversations. arXiv preprint arXiv:2305.14233, 2023.

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos