许可证：Apache-2.0
支持语言：

• 英语
• 法语
• 意大利语
• 西班牙语
• 德语

Mixtral 7B 8专家模型

这是MistralAI最新发布的混合专家（MoE）模型在HuggingFace上的初步实现。请确保加载时使用trust_remote_code=True参数。

特别感谢@dzhulgakov的早期实现（https://github.com/dzhulgakov/llama-mistral），帮助我找到了可行的配置方案。

同时衷心感谢LAION和HessianAI的朋友们为这些项目提供的计算资源支持！

基准测试得分：

hella swag：0.8661  
winogrande：0.824  
truthfulqa_mc2：0.4855  
arc_challenge：0.6638  
gsm8k：0.5709  
MMLU：0.7173  

基础推理设置

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("DiscoResearch/mixtral-7b-8expert", low_cpu_mem_usage=True, device_map="auto", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("DiscoResearch/mixtral-7b-8expert")
x = tok.encode("The mistral wind in is a phenomenon ", return_tensors="pt").cuda()
x = model.generate(x, max_new_tokens=128).cpu()
print(tok.batch_decode(x))

权重转换

使用命令convert_mistral_moe_weights_to_hf.py --input_dir ./input_dir --model_size 7B --output_dir ./output将原始合并权重转换为当前HuggingFace格式。

欢迎来我们的Disco(rd)聊天频道交流讨论！ :)