许可证: [llama2, 其他] 数据集:

• cerebras/SlimPajama-627B
• Open-Orca/OpenOrca 语言:
• 英语 标签:
• Deci AI
• DeciLM
• 指令 模型索引:
• 名称: DeciLM 6B 结果:
  • 任务: 类型: 文本生成 数据集: 类型: ai2/arc 名称: ai2_arc 指标:
    • 名称: ARC挑战 类型: ARC挑战 值: 43.43 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: ai2/arc 名称: ai2_arc 指标:
    • 名称: ARC简易 类型: ARC简易 值: 70.58 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: boolq 名称: boolq 指标:
    • 名称: BoolQ 类型: BoolQ 值: 77.34 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: hellaswag 名称: hellaswag 指标:
    • 名称: HellaSwag 类型: HellaSwag 值: 74.57 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: LAMBDA 名称: OpenAI LAMBDA 指标:
    • 名称: LAMBDA 类型: LAMBDA 值: 70.1 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: OpenBookQA 名称: openbookqa 指标:
    • 名称: OpenBookQA 类型: OpenBookQA 值: 33 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: PIQA 名称: piqa 指标:
    • 名称: PIQA 类型: PIQA 值: 77.52 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: truthful_qa 名称: truthful_qa 指标:
    • 名称: TruthfulQA 类型: TruthfulQA 值: 43.89 已验证: 否
  • 任务: 类型: 文本生成 数据集: 类型: winogrande 名称: winogrande 指标:
    • 名称: Winogrande 类型: Winogrande 值: 67.64 已验证: 否

DeciLM 6B-指令模型

DeciLM 6B-指令模型是一款专为短格式指令跟随设计的模型。它基于DeciLM 6B模型，通过LoRA微调技术在OpenOrca数据集的子集上训练而成。

• 开发团队: Deci
• 模型类型: DeciLM采用自回归语言模型架构，优化了变压器解码器设计，包含可变分组查询注意力机制。
• 支持语言: 英语
• 许可证: Llama 2社区许可协议，附加Deci关于托管服务提供商的特别条款。

模型来源

• 技术博客: DeciLM 6B技术解析
• 演示平台: DeciLM 6B-指令演示
• 代码示例: DeciLM 6B-指令笔记本

应用场景

本模型适用于英语领域的商业和研究用途，可通过微调适配其他语言环境。

快速开始

使用以下代码快速体验模型功能：

# 安装依赖: pip install -q transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "Deci/DeciLM-6b-instruct"
device = "cuda" # GPU环境使用"cuda"，CPU环境使用"cpu"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, trust_remote_code=True).to(device)

inputs = tokenizer.encode("如何制作法式吐司？请分步骤说明", return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=100, do_sample=True, top_p=0.95)
print(tokenizer.decode(outputs[0]))

训练详情

DeciLM 6B基于SlimPijamas数据集训练，采用Deci专有的高效训练方法。后续在OpenOrca数据集的子集上进行微调，最终形成DeciLM-6B-指令模型。

评估结果

以下是DeciLM 6B-指令模型的评估表现：

运行性能基准

• 吞吐量(token/秒) - 在最优批次下测得：PyTorch批次64，Infery LLM批次128
• 复现PyTorch基准测试可使用此代码示例

免责声明

DeciLM 6B-指令模型未进行安全对齐训练，也未采用RLHF训练方法。

引用格式

建议采用以下格式引用本模型：

@misc{DeciFoundationModels,
title = {DeciLM 6B指令模型},
author = {DeciAI研究团队},
year = {2023}
url={[https://huggingface.co/Deci/DeciLM-6b-instruct](https://huggingface.co/Deci/DeciLM-6b-instruct)},
}