Longalpaca 70B

由 Yukang 开发

LongLoRA是一种高效微调长上下文大语言模型的技术，通过移位短注意力机制实现长上下文处理，支持8k到100k的上下文长度。

大型语言模型

Transformers

#长上下文处理 #高效微调 #大语言模型

下载量 1,293

发布时间 : 10/9/2023

模型介绍

内容详情

替代品

模型简介

LongLoRA提出了一种高效的微调方案，用于扩展大语言模型的上下文处理能力，支持从7B到70B不同规模的模型。

模型特点

移位短注意力机制

创新的注意力机制设计，兼容Flash-Attention技术，推理阶段无需使用

长上下文支持

支持从8k到100k的上下文长度，覆盖多种应用场景

全系列模型

开源7B至70B全系列模型，满足不同计算资源需求

专用数据集

构建长上下文指令数据集LongAlpaca-12k，提升模型指令跟随能力

模型能力

长文本理解

长文本生成

指令跟随

问答系统

使用案例

文档处理

长文档摘要

处理长达数万token的文档并生成摘要

可有效保留长文档中的关键信息

技术文档分析

阅读和理解复杂的技术文档

能够准确回答关于文档内容的细节问题

学术研究

论文阅读与问答

阅读完整学术论文并回答相关问题

能够理解论文中的复杂概念和论证过程

LongLoRA与LongAlpaca：长上下文大语言模型高效微调方案

详细使用说明和代码请访问GitHub项目。

核心亮点

LongLoRA提出的移位短注意力机制实现简单，兼容Flash-Attention技术，且推理阶段无需使用
开源7B至70B全系列模型，支持8k到100k上下文长度，包括LLaMA2-LongLoRA-7B-100k、LLaMA2-LongLoRA-13B-64k和LLaMA2-LongLoRA-70B-32k
构建长上下文指令数据集LongAlpaca-12k，发布对应LongAlpaca-7B、LongAlpaca-13B和LongAlpaca-70B模型，系首个开源的70B级长上下文模型

贡献指南

确保已安装git工具
创建项目fork
本地克隆仓库：git clone 项目URL
仔细阅读下方使用要求和安装与快速指南章节
提交代码变更并推送
完成修改后发起Pull Request

使用要求

下载使用预训练权重需满足：

拥有验证邮箱的Hugging Face账户（需与许可协议邮箱一致）
接受Meta许可及使用政策

安装与快速指南

安装运行步骤：

Fork本项目
本地克隆仓库
执行安装命令：

pip install -r requirements.txt
pip install flash-attn --no-build-isolation

选择使用已发布模型或微调训练自定义模型
测试模型对话效果
部署专属演示系统

LongAlpaca数据集

LongAlpaca-12k包含9k自建长问答数据和3k源自Alpaca原始数据的短问答样本，避免模型在短指令跟随任务上性能退化。数据构成如下图所示。

数据集	短问答	长问答	总量	下载地址
LongAlpaca-12k	3k	9k	12k	链接

遵循Alpaca格式规范，长问答数据采用以下提示模板：

instruction：字符串，描述模型应执行的任务（如阅读书籍/论文章节后回答问题）
output：字符串，对应指令的正确答案

为简化处理，未采用Alpaca格式中的input字段。

模型列表

监督微调模型

模型	参数量	上下文长度	训练方式	链接
LongAlpaca-7B	7B	32768	全参数微调	模型
LongAlpaca-13B	13B	32768	全参数微调	模型
LongAlpaca-70B	70B	32768	LoRA+	模型 (LoRA权重)

全参数微调扩展模型

模型	参数量	上下文长度	训练方式	链接
Llama-2-7b-longlora-8k-ft	7B	8192	全参数微调	模型
Llama-2-7b-longlora-16k-ft	7B	16384	全参数微调	模型
Llama-2-7b-longlora-32k-ft	7B	32768	全参数微调	模型
Llama-2-7b-longlora-100k-ft	7B	100000	全参数微调	模型
Llama-2-13b-longlora-8k-ft	13B	8192	全参数微调	模型
Llama-2-13b-longlora-16k-ft	13B	16384	全参数微调	模型
Llama-2-13b-longlora-32k-ft	13B	32768	全参数微调	模型

LoRA增强扩展模型

模型	参数量	上下文长度	训练方式	链接
Llama-2-7b-longlora-8k	7B	8192	LoRA+	LoRA权重
Llama-2-7b-longlora-16k	7B	16384	LoRA+	LoRA权重
Llama-2-7b-longlora-32k	7B	32768	LoRA+	LoRA权重
Llama-2-13b-longlora-8k	13B	8192	LoRA+	LoRA权重
Llama-2-13b-longlora-16k	13B	16384