Mixtral 8x7B V0.1

由 mistralai 开发

Mixtral-8x7B是一个预训练的生成式稀疏混合专家模型，在多数基准测试中表现优于Llama 2 70B。

大型语言模型

Transformers

支持多种语言

开源协议:Apache-2.0 #稀疏混合专家 #多语言生成 #高性能LLM

下载量 42.78k

发布时间 : 12/1/2023

模型介绍

内容详情

替代品

模型简介

这是一个多语言支持的大规模语言模型，采用混合专家架构，适用于文本生成任务。

模型特点

混合专家架构

采用稀疏混合专家模型设计，提高模型效率

多语言支持

支持法语、意大利语、德语、西班牙语和英语五种语言

高性能

在多数基准测试中表现优于Llama 2 70B模型

模型能力

多语言文本生成

长文本处理

上下文理解

使用案例

文本生成

内容创作

自动生成文章、故事等创意内容

对话系统

构建智能聊天机器人

语言处理

多语言翻译

支持多种语言间的翻译任务

许可证：apache-2.0
语言：

法语
意大利语
德语
西班牙语
英语

标签：

混合专家模型

额外授权说明：如需了解我们如何处理您的个人数据，请阅读我们的隐私政策。

Mixtral-8x7B模型卡

Mixtral-8x7B大语言模型（LLM）是一个预训练的生成式稀疏混合专家模型。在我们测试的大多数基准中，Mistral-8x7B的表现优于Llama 2 70B。

有关该模型的完整详情，请阅读我们的发布博客文章。

警告

此仓库包含与vLLM模型服务及Hugging Face transformers库兼容的权重文件。它基于原始的Mixtral种子发布，但文件格式和参数名称有所不同。请注意，该模型目前无法通过HF实例化。

运行模型

from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "mistralai/Mixtral-8x7B-v0.1"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  

model = AutoModelForCausalLM.from_pretrained(model_id)  

text = "你好，我的名字是"  
inputs = tokenizer(text, return_tensors="pt")  

outputs = model.generate(**inputs, max_new_tokens=20)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

默认情况下，transformers会以全精度加载模型。因此，您可能希望通过HF生态系统提供的优化进一步降低运行模型的内存需求：

半精度

注意：float16精度仅适用于GPU设备

点击展开

+ import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "mistralai/Mixtral-8x7B-v0.1"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  

+ model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16).to(0)  

text = "你好，我的名字是"  
+ inputs = tokenizer(text, return_tensors="pt").to(0)  

outputs = model.generate(**inputs, max_new_tokens=20)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用`bitsandbytes`降低精度（8位和4位）

点击展开

+ import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "mistralai/Mixtral-8x7B-v0.1"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  

+ model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)  

text = "你好，我的名字是"  
+ inputs = tokenizer(text, return_tensors="pt").to(0)  

outputs = model.generate(**inputs, max_new_tokens=20)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用Flash Attention 2加载模型

点击展开

+ import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "mistralai/Mixtral-8x7B-v0.1"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  

+ model = AutoModelForCausalLM.from_pretrained(model_id, use_flash_attention_2=True)  

text = "你好，我的名字是"  
+ inputs = tokenizer(text, return_tensors="pt").to(0)  

outputs = model.generate(**inputs, max_new_tokens=20)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

注意事项

Mixtral-8x7B是一个预训练的基础模型，因此没有任何内容审查机制。

Mistral AI团队

Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Louis Ternon, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Théophile Gervet, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed。