语言:

• 法语
• 意大利语
• 德语
• 西班牙语
• 英语

许可证: Apache-2.0
标签:

• 混合专家模型

额外授权说明: 若想了解我们如何处理您的个人数据，请阅读我们的隐私政策。

Mixtral-8x22B模型卡片

Mixtral-8x22B大型语言模型（LLM）是一个预训练的生成式稀疏混合专家模型。

关于该模型的完整细节，请阅读我们的发布博客文章。

警告

此仓库包含与vLLM模型服务和Hugging Facetransformers库兼容的权重文件。它基于原始Mixtral种子发布，但文件格式和参数名称有所不同。

运行模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x22B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "你好，我的名字是"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

默认情况下，transformers会以全精度加载模型。因此您可能希望通过HF生态系统提供的优化方案进一步降低运行模型的内存需求：

注意

Mixtral-8x22B是预训练的基础模型，因此不包含任何内容审查机制。

Mistral AI团队

阿尔伯特·蒋、亚历山大·萨布莱罗勒斯、亚历克西斯·塔克内、安托万·鲁、
亚瑟·门施、奥黛丽·赫布林-斯图普、巴蒂斯特·布特、博杜安·德莫尼科、
布兰奇·萨瓦里、Bam4d、卡罗琳·费尔德曼、德文德拉·辛格·查普洛特、
迭戈·德拉斯卡萨斯、埃莱奥诺尔·阿尔塞兰、艾玛·布·汉娜、艾蒂安·梅茨格、
吉安娜·伦吉尔、纪尧姆·布尔、纪尧姆·兰普勒、哈里佐·拉贾奥纳、
让-马洛·德利尼翁、贾李、贾斯特斯·穆尔克、路易·马丁、路易·特尔农、
吕西尔·索尔尼耶、莱利奥·勒纳尔·拉沃、玛格丽特·詹宁斯、玛丽·佩拉、
玛丽·托雷利、玛丽-安娜·拉肖、尼古拉·舒尔、帕特里克·冯·普拉滕、
皮埃尔·斯托克、桑迪普·苏布拉马尼安、索菲亚·杨、希蒙·安东尼阿克、特文·勒·斯卡奥、
蒂博·拉维尔、蒂莫泰·拉克鲁瓦、泰奥菲尔·热尔韦、托马斯·王、
瓦莱拉·涅梅奇尼科娃、威廉·埃尔·赛义德、威廉·马歇尔