许可协议：apache-2.0 基础模型：

• mistralai/Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3模型卡

量化说明

本仓库包含Mistral-7B-Instruct-v0.3大语言模型的GPTQ 4位量化版本。

使用GPTQ模型

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "thesven/Mistral-7B-Instruct-v0.3-GPTQ"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")
model.pad_token = model.config.eos_token_id


prompt_template=f'''
<s><<SYS>>你是一位极具创造力的故事作家。请根据以下主题创作故事：</s><</SYS>>
<s>[指令]写一个关于人工智能的故事</s>[/指令]
<s>[助手]
'''

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.1, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

模型说明

Mistral-7B-Instruct-v0.3大语言模型(LLM)是基于Mistral-7B-v0.3进行指令微调的版本。

相较于Mistral-7B-v0.2，Mistral-7B-v0.3具有以下改进：

• 词汇表扩展至32768词
• 支持v3版本分词器
• 支持函数调用功能

局限性

Mistral 7B Instruct模型展示了基础模型通过简单微调即可获得出色性能的快速验证案例。 当前版本未包含任何内容审查机制。我们期待与社区共同探索如何建立精细的内容护栏机制，使模型能够应用于需要输出内容审核的部署环境。

Mistral AI团队

阿尔贝·江、亚历山大·萨布莱罗勒、亚历克西斯·塔克内、安托万·鲁、亚瑟·门施、奥黛丽·赫布林-斯图普、巴蒂斯特·布特、博杜安·德莫尼科、布朗什·萨瓦里、Bam4d、卡罗琳·费尔德曼、德文德拉·辛格·查普洛特、迭戈·德拉斯卡萨斯、埃莱奥诺尔·阿尔塞兰、艾玛·布·汉娜、艾蒂安·梅茨格、吉安娜·伦吉尔、纪尧姆·布尔、纪尧姆·兰普勒、哈里佐·拉贾奥纳、让-马洛·德利尼翁、李嘉、贾斯特斯·穆尔克、路易·马丁、路易·泰尔农、吕西尔·索尔尼耶、莱利奥·勒纳尔·拉沃、玛格丽特·詹宁斯、玛丽·佩拉、玛丽·托雷利、玛丽-安娜·拉绍、尼古拉·舒尔、帕特里克·冯·普拉滕、皮埃尔·斯托克、桑迪普·苏布拉马尼安、索菲亚·杨、希蒙·安东尼阿克、泰文·勒·斯卡奥、蒂博·拉维尔、蒂莫泰·拉克鲁瓦、泰奥菲尔·热尔韦、托马斯·王、瓦莱拉·内米奇尼科娃、威廉·埃尔·赛义德、威廉·马歇尔