简介

OpenBMB技术博客系列

MiniCPM-MoE-8x2B是一款基于Transformer架构的纯解码生成式语言模型。

该模型采用混合专家（MoE）架构设计，每层包含8个专家模块，每个token会激活其中2个专家进行处理。

使用说明

本版本为经过指令微调但未应用RLHF方法的模型版本，聊天模板已自动加载。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM-MoE-8x2B'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？", temperature=0.8, top_p=0.8)
print(responds)

注意事项

1. 可使用vLLM(>=0.4.1版本)进行推理，该框架与本仓库兼容且具有更高吞吐量
2. 本仓库模型权重精度为bfloat16，如需其他精度需手动转换
3. 更多细节请参阅我们的GitHub仓库

声明条款

1. MiniCPM-MoE-8x2B作为语言模型，其生成内容基于海量文本学习所得
2. 模型不具备理解或表达个人观点与价值判断的能力
3. 模型生成内容不代表开发者的观点或立场
4. 用户应对模型生成内容承担完全的评估与验证责任