🚀 Mistral-7B-Instruct-v0.3模型卡片

Mistral-7B-Instruct-v0.3是一款强大的大语言模型，本项目提供了其GPTQ 4位量化版本，能在特定场景下实现高效推理，同时还给出了使用示例和模型的详细信息。

🚀 快速开始

使用GPTQ模型

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "thesven/Mistral-7B-Instruct-v0.3-GPTQ"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")
model.pad_token = model.config.eos_token_id


prompt_template=f'''
<s><<SYS>>You are a very creative story writer. Write a store on the following topic:</s><</SYS>>
<s>[INST]Write a story about Ai</s>[/INST]
<s>[ASSISTANT]
'''

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.1, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

✨ 主要特性

模型描述

Mistral-7B-Instruct-v0.3大语言模型（LLM）是Mistral-7B-v0.3的指令微调版本。

与 Mistral-7B-v0.2 相比，Mistral-7B-v0.3有以下改进：

• 词汇表扩展到32768
• 支持v3分词器
• 支持函数调用

🔧 技术细节

局限性

Mistral 7B指令模型是一个快速演示，表明基础模型可以很容易地进行微调以实现出色的性能。它没有任何审核机制。我们期待与社区合作，探索使模型更好地遵循规则的方法，以便在需要审核输出的环境中进行部署。

📄 许可证

本项目采用Apache-2.0许可证。

👥 开发团队

Albert Jiang、Alexandre Sablayrolles、Alexis Tacnet、Antoine Roux、Arthur Mensch、Audrey Herblin - Stoop、Baptiste Bout、Baudouin de Monicault、Blanche Savary、Bam4d、Caroline Feldman、Devendra Singh Chaplot、Diego de las Casas、Eleonore Arcelin、Emma Bou Hanna、Etienne Metzger、Gianna Lengyel、Guillaume Bour、Guillaume Lample、Harizo Rajaona、Jean - Malo Delignon、Jia Li、Justus Murke、Louis Martin、Louis Ternon、Lucile Saulnier、Lélio Renard Lavaud、Margaret Jennings、Marie Pellat、Marie Torelli、Marie - Anne Lachaux、Nicolas Schuhl、Patrick von Platen、Pierre Stock、Sandeep Subramanian、Sophia Yang、Szymon Antoniak、Teven Le Scao、Thibaut Lavril、Timothée Lacroix、Théophile Gervet、Thomas Wang、Valera Nemychnikova、William El Sayed、William Marshall