license: apache-2.0 language:

• en

DeciLM-7B

DeciLM-7B 是一款拥有70.4亿参数的纯解码器文本生成模型，基于Apache 2.0许可证发布。在发布时，DeciLM-7B是Open LLM排行榜上性能最佳的7B基础语言模型。该高效模型支持8K令牌的序列长度，采用可变分组查询注意力（GQA）机制，在准确性和计算效率之间实现了卓越平衡。模型架构由Deci专有的神经架构搜索技术AutoNAC生成。

模型详情

模型描述

Deci研发并发布了DeciLM-7B语言模型，这是一个拥有70亿参数的预训练高效文本生成模型。DeciLM-7B不仅是当前最精确的7B基础模型，其吞吐量更是Mistral-7B的4.4倍，在同类别模型中一骑绝尘。同时发布的还有指令调优版本DeciLM-7B-instruct。

• 研发机构: Deci
• 模型类型: DeciLM采用自回归语言模型架构，基于优化的transformer解码器，包含可变分组查询注意力机制。
• 支持语言: 英语
• 许可证: Apache 2.0

模型架构

*每层的GQA键值头数通过AutoNAC技术进行优化选择

模型资源

• 技术博客: DeciLM-7B技术解析
• 演示空间: DeciLM-7B-instruct演示
• 微调笔记: DeciLM-7B微调指南
• 文本生成笔记: DeciLM-7B-instruct文本生成

使用场景

本模型支持英语场景下的商业与研究用途，可通过微调适配各类任务与语言。

快速开始

使用以下代码快速体验模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Deci/DeciLM-7B"
device = "cuda" # 使用GPU或"cpu"使用CPU

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", trust_remote_code=True).to(device)

inputs = tokenizer.encode("科学家们震惊地发现了一群生活在", return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=100, do_sample=True, top_p=0.95)
print(tokenizer.decode(outputs[0]))

# 也可通过text-generation管道接口调用
from transformers import pipeline
generator = pipeline("text-generation", "Deci/DeciLM-7B", torch_dtype="auto", trust_remote_code=True, device=device)
outputs = generator("科学家们震惊地发现了一群生活在", max_new_tokens=100, do_sample=True, top_p=0.95)
print(outputs[0]["generated_text"])

性能评估

DeciLM-7B系列在Open LLM排行榜的表现：

推理速度基准

• Hugging Face基准测试复现代码参见此处
• Deci的推理引擎Infery-LLM集成选择性量化、优化束搜索、持续批处理等算法，预约演示

伦理考量与局限性

作为新兴技术，DeciLM-7B存在固有使用风险。当前测试主要针对英语场景，未覆盖所有可能性。与所有大语言模型类似，其输出具有不可预测性，可能产生不准确、偏见或不当内容。开发者应在部署前针对具体应用场景进行充分的安全测试与调优。

引用格式

请按以下格式引用本模型：

@misc{DeciFoundationModels,
title = {DeciLM-7B},
author = {DeciAI Research Team},
year = {2023}
url={https://huggingface.co/Deci/DeciLM-7B},
}