许可证：apache-2.0
任务标签：文本生成
标签：

• 微调
  推理：false

概述

该模型采用Wanda剪枝方法将稀疏度压缩至2%。此方法无需重新训练或权重更新即可保持竞争力性能。基础模型链接参见此处。

Mistral-7B-Instruct-v0.2模型卡

Mistral-7B-Instruct-v0.2大语言模型(LLM)是Mistral-7B-Instruct-v0.1的改进指令微调版本。

完整细节请阅读我们的论文和发布博客。

指令格式

使用指令微调时，提示词需用[INST]和[/INST]标记包裹。首条指令应以句子起始符开头，后续指令则不需要。助手生成内容将以句子结束符终止。

示例：

text = "<s>[INST] 你最喜欢的调味品是什么？ [/INST]"
"我特别偏爱新鲜柠檬汁，它为厨房料理增添了恰到好处的清爽风味！</s>"
"[INST] 你有蛋黄酱食谱吗？ [/INST]"

可通过apply_chat_template()方法使用聊天模板：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 模型加载设备

model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")

messages = [
    {"role": "user", "content": "你最喜欢的调味品是什么？"},
    {"role": "assistant", "content": "我特别偏爱新鲜柠檬汁，它为厨房料理增添了恰到好处的清爽风味！"},
    {"role": "user", "content": "你有蛋黄酱食谱吗？"}
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

模型架构

本指令模型基于Mistral-7B-v0.1，采用以下架构设计：

• 分组查询注意力机制
• 滑动窗口注意力机制
• 字节回退BPE分词器

故障排除

若出现以下错误：

Traceback (most recent call last):
...
KeyError: 'mistral'

请通过源码安装transformers：
pip install git+https://github.com/huggingface/transformers
此问题在transformers-v4.33.4版本后无需修复。

局限性

Mistral 7B Instruct模型仅用于展示基础模型通过简单微调即可获得出色性能。
当前版本未内置内容过滤机制。我们期待与社区共同探索如何建立精确的内容护栏，以满足需受控输出的部署环境。

Mistral AI团队

成员包括：Albert Jiang, Alexandre Sablayrolles, Arthur Mensch等（完整名单见原文）。