语言:

• 英文 标签:
• upstage
• llama
• instruct
• instruction 管道标签: 文本生成

LLaMa-65b-instruct 模型卡

模型详情

• 开发团队: Upstage
• 基础模型: LLaMA
• 变体: 提供不同参数规模和序列长度的版本: 30B/1024, 30B/2048, 65B/1024
• 支持语言: 英语
• 算法库: HuggingFace Transformers
• 许可证: 本模型采用非商业定制许可证并受Meta许可证约束。仅当您已通过填写此表单获得模型访问权限，但丢失了权重副本或遇到权重转换问题时方可使用此仓库
• 反馈渠道: 可通过在Hugging Face社区模型仓库提交issue提供反馈意见
• 联系方式: 模型相关问题请发送邮件至contact@upstage.ai

数据集详情

使用数据集

• Orca风格数据集
• 除上述数据集外未使用其他数据

提示模板

### 系统:
{系统}

### 用户:
{用户}

### 助手:
{助手}

使用指南

• 测试环境: A100 80GB
• 得益于rope_scaling技术，本模型可处理超过10k的输入标记

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/llama-65b-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/llama-65b-instruct",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # 支持处理更长输入
)

prompt = "### 用户:\n托马斯身体健康，却必须去医院。可能的原因是什么？\n\n### 助手:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

硬件与软件

• 硬件配置: 训练使用4台A100x8服务器
• 训练技术: 结合DeepSpeed库与HuggingFace Trainer进行微调

评估结果

概览

• 基于Open LLM排行榜任务进行评估
• 测试数据集包含ARC-Challenge、HellaSwag、MMLU和TruthfulQA
• 使用lm-evaluation-harness仓库特定版本b281b0921b636bc36ad05c0b0b0763bd6dd43463
• 采用MT-bench多轮开放性问题集进行评估

核心数据

H4分数复现脚本

• 准备评估环境:

# 克隆仓库
git clone https://github.com/EleutherAI/lm-evaluation-harness.git

# 检出特定提交
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463

# 进入仓库目录
cd lm-evaluation-harness

伦理考量

伦理审查

• 由于未将基准测试集或训练集纳入模型训练过程，不存在相关伦理问题

联系我们

选择Upstage LLM的理由

• Upstage的LLM研究成果卓著。截至8月1日，我们的70B模型已登顶openLLM排行榜，成为当前全球领先的模型。我们深刻认识到私有LLM在企业实际应用中的巨大潜力，现邀请您轻松部署私有LLM并使用自有数据进行微调。如需定制化解决方案，请随时与我们联系 ► 点击此处联系