语言:

• 英文 标签:
• upstage
• llama-2
• 指导
• 指令 管道标签: 文本生成

更新

由Upstage创建的新机器人Solar现已上线Poe平台。作为HuggingFace开放大语言模型排行榜上的顶尖模型，以及基于Llama 2的微调版本，Solar是开源推动进步的绝佳例证。 立即体验：https://poe.com/Solar-0-70b

SOLAR-0-70b-16bit模型卡片

模型名称已从LLaMa-2-70b-instruct-v2变更为SOLAR-0-70b-16bit

模型详情

• 开发团队: Upstage
• 基础模型: LLaMA-2
• 支持语言: 英语
• 框架库: HuggingFace Transformers
• 许可协议: 微调检查点采用非商业性知识共享许可(CC BY-NC-4.0)
• 反馈渠道: 通过Hugging Face社区模型库提交issue即可提供反馈
• 联系邮箱: 模型咨询请邮件contact@upstage.ai

数据集详情

使用数据集

• Orca风格数据集
• Alpaca风格数据集
• 仅使用上述数据集
• 未使用任何基准测试集或训练集

提示模板

### 系统:
{系统}

### 用户:
{用户}

### 助手:
{助手}

使用指南

• 以下测试基于A100 80GB显卡
• 得益于rope_scaling技术，本模型可处理超过10k的输入标记

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/Llama-2-70b-instruct-v2")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/Llama-2-70b-instruct-v2",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # 支持长文本输入处理
)

prompt = "### 用户:\n托马斯身体健康，却必须去医院。可能是什么原因？\n\n### 助手:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

硬件与软件

• 硬件配置: 训练使用4台A100x8服务器
• 训练技术: 结合DeepSpeed库与HuggingFace Trainer/HuggingFace Accelerate进行微调

评估结果

概览

• 参照开放大语言模型排行榜标准进行评估
• 测试涵盖四大基准数据集：ARC挑战赛、HellaSwag、MMLU和TruthfulQA
• 使用lm-evaluation-harness代码库特定版本b281b0921b636bc36ad05c0b0b0763bd6dd43463
• 采用MT-bench多轮开放性问题集进行模型评估

核心数据

H4分数复现脚本

• 配置评估环境:

# 克隆仓库
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 检出指定版本
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# 进入目录
cd lm-evaluation-harness

联系我们

Upstage简介

• Upstage是专注于大语言模型(LLM)与人工智能的企业。我们将协助您构建私有LLM及相关应用。 若您有构建领域专用LLM的数据集或开发LLM应用需求，请►点击联系
• 截至8月1日，我们的70B模型已登顶openLLM排行榜，成为当前全球性能领先的模型。