语言:

• 中文
• 英文 标签:
• 通义千问 任务类型: 文本生成 推理支持: 否

通义千问-7B对话模型

通义千问-7B基础模型 🤖 | 🤗  ｜ 通义千问-7B对话模型 🤖 | 🤗  ｜  演示平台  ｜  技术报告

模型介绍

**通义千问-7B（Qwen-7B）**是阿里云研发的70亿参数规模大语言模型。该模型基于Transformer架构，在海量多样化预训练数据（包括网络文本、专业书籍和代码等）上训练而成。基于Qwen-7B，我们通过对齐机制开发了AI助手Qwen-7B-Chat。本仓库为对话模型版本。

更多技术细节请参阅GitHub代码库。

Qwen-7B is the 7B-parameter version of Alibaba Cloud's large language model series. Pretrained on diverse data including web texts, books and codes, this Transformer-based model also has its aligned assistant version Qwen-7B-Chat in this repository.

For technical details, please refer to the GitHub repository.

系统要求

• Python 3.8及以上
• PyTorch 1.12及以上（推荐2.0+）
• 建议CUDA 11.4+（GPU用户需注意）
• Python 3.8+
• PyTorch 1.12+ (2.0+ recommended)
• CUDA 11.4+ recommended (for GPU users)

安装依赖

运行前请执行以下命令安装依赖库：

To run the model, please install dependencies via:

pip install transformers==4.31.0 accelerate tiktoken einops

推荐额外安装flash-attention以提升效率：

For better efficiency, install flash-attention:

git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention
cd flash-attention && pip install .
# 可选安装项（安装较慢）
# Optional installations (may be slow)
pip install csrc/layer_norm
pip install csrc/rotary

快速开始

以下是多轮对话示例：

Multi-turn interaction example:

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

# 默认关闭注入攻击防护
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)

# 使用bf16精度
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
# 使用fp16精度
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
# 仅使用CPU
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="cpu", trust_remote_code=True).eval()
# 自动选择精度
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()

# 配置生成参数
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)

# 第一轮对话
response, history = model.chat(tokenizer, "你好", history=None)
print(response)
# 你好！很高兴为你提供帮助。

# 第二轮对话
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
# 这是一个关于年轻人李明通过勤奋学习、积累经验、坚持创业最终建立成功科技企业的故事...

# 第三轮对话
response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
print(response)
# 《奋斗创业：一个年轻人的成功之路》

更多用法请参考GitHub仓库。

分词说明

基于tiktoken的分词器在微调时需要特别注意特殊token的使用。详见技术文档。

Our tiktoken-based tokenizer requires special attention during fine-tuning. See documentation.

模型架构

核心参数配置：

关键技术：

• RoPE相对位置编码
• SwiGLU激活函数
• RMSNorm（可搭配flash-attention加速）
• 优化过的15万token词表，支持中英代码高效编码
• 数字按位切分
• 基于tiktoken的高效分词

性能评估

中文能力

C-Eval验证集

C-Eval测试集

英文能力

MMLU

代码能力

HumanEval

数学能力

GSM8K

长文本理解

VCSUM

工具调用

ReAct提示

HuggingFace Agent

量化部署

支持4比特(NF4)和8比特(Int8)量化：

from transformers import BitsAndBytesConfig

# 4比特配置
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_compute_dtype=torch.bfloat16
)

# 8比特配置
quant_config = BitsAndBytesConfig(load_in_8bit=True)

量化性能对比：

许可协议

代码和模型权重对学术研究和商业应用开放，详见LICENSE文件。

联系我们

欢迎发送邮件至qianwen_opensource@alibabacloud.com与我们交流。