Llama 3 8B Instruct 64k

由 MaziyarPanahi 开发

基于 winglian/Llama-3-8b-64k-PoSE 开发的 8B 参数大语言模型，采用 PoSE 技术扩展上下文长度至 64k，并经过 DPO 微调优化

大型语言模型

Transformers

英语

#64k长文本处理 #指令微调优化 #DPO强化学习

下载量 91

发布时间 : 4/25/2024

模型介绍

内容详情

替代品

模型简介

这是一个基于 Meta Llama-3 架构的 8B 参数大语言模型，通过 PoSE 技术将上下文长度扩展至 64k，并经过 DPO 微调优化，适用于长文本生成和对话任务。

模型特点

64k 长上下文支持

采用 PoSE 技术将上下文长度从 8k 扩展至 64k，适合处理长文档和复杂对话

DPO 微调优化

使用 Intel/orca_dpo_pairs 数据集进行 DPO 微调，提升模型响应质量

高效推理

支持 flash_attention_2 和 bfloat16 推理，提高推理效率

模型能力

长文本生成

对话系统

指令跟随

使用案例

对话系统

角色扮演聊天机器人

可用于构建具有特定角色特征的聊天机器人，如示例中的海盗聊天机器人

能够生成符合角色设定的连贯对话

长文档处理

长文档摘要

利用 64k 上下文长度优势处理长文档并生成摘要

基础模型: winglian/Llama-3-8b-64k-PoSE
库名称: transformers
标签:

axolotl
微调
dpo
facebook
meta
pytorch
llama
llama-3
64k
pose
语言:
英文
管道标签: 文本生成
许可证: llama3
许可证名称: llama3
许可证链接: LICENSE
推理: 不支持
模型创建者: MaziyarPanahi
模型名称: Llama-3-8B-Instruct-64k
量化者: MaziyarPanahi
数据集:
Intel/orca_dpo_pairs

MaziyarPanahi/Llama-3-8B-Instruct-64k

本模型基于 @winglian 的优秀工作及其最新模型 winglian/Llama-3-8b-64k-PoSE 开发而成。

该模型采用 PoSE 技术将 Llama 的上下文长度从 8k 扩展至 64k（rope_theta: 500000.0）。
我们在 RedPajama V1 数据集中选取了 6k-8k 长度的 300M 标记进行持续预训练。
为进一步扩展上下文长度至 64k 以上，我们在持续预训练后将 rope_theta 设置为 200 万。
训练数据来自 RedPajama v1 数据集中 6k-8k 上下文的文本子集，并采用秩为 256 的秩稳定 LoRA 进行训练。WandB

量化 GGUF 版本

所有 GGUF 模型均支持 64000 的上下文长度：MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF

使用方法

可通过 Hugging Face 的 transformers 库使用本模型，模型名称为 MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.3。

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
from transformers import pipeline
import torch

model_id = "MaziyarPanahi/Llama-3-8B-Instruct-64k"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
    # attn_implementation="flash_attention_2"
)

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True
)

streamer = TextStreamer(tokenizer)

pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    model_kwargs={"torch_dtype": torch.bfloat16},
    streamer=streamer
)

# 使用管道生成文本

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，永远用海盗口吻回答！"},
    {"role": "user", "content": "你是谁？"},
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|im_end|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=8192,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.95,
)
print(outputs[0]["generated_text"][len(prompt):])