language:

• en
• zh tags:
• MiniCPM
• ModelBest
• THUNLP

MiniCPM技术报告技术报告（英文） | OmniLMM多模态模型 | CPM-C千亿模型试用

MiniCPM是面壁智能与清华大学自然语言处理实验室联合研发的端侧大语言模型系列，其核心语言模型MiniCPM-1B仅含12亿（1.2B）非词嵌入参数。

• 经监督微调（SFT）后，MiniCPM在公开综合评测中表现接近Mistral-7B（中文/数学/代码能力更优），整体性能超越Llama2-13B、MPT-30B、Falcon-40B等模型。
• 经直接偏好优化（DPO）后，在用户感知最直接的MTBench评测中，MiniCPM-2B超越了Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha等主流开源模型。
• 基于MiniCPM-2B构建的端侧多模态大模型MiniCPM-V，在同等规模模型中性能最优，超越基于Phi-2的现有模型，部分评测结果与9.6B参数的Qwen-VL-Chat相当甚至更优。
• 经Int4量化后，MiniCPM可在手机端实现流式推理，生成速度略快于人类语速。MiniCPM-V更成为首个可在手机端运行的多模态大模型。
• 开发成本极低：单张1080/2080显卡可高效微调参数，3090/4090显卡支持全参数微调，单机即可完成持续训练。

我们将完整开源MiniCPM-2B的模型参数（支持学术研究及有限商用），并公开训练过程中的所有检查点与大部分非专有数据，助力模型机理研究。

• MiniCPM-2B-SFT/DPO：基于MiniCPM-2B的指令微调与人类偏好对齐版本
• MiniCPM-V：基于MiniCPM-2B的多模态模型，性能超越同规模Phi-2架构模型
• MiniCPM-2B-SFT/DPO-Int4：支持手机端部署的4比特量化版本
• 基于MLC-LLM与LLMFarm开发的移动端应用，支持文本与多模态模型的手机端推理

评测结果

详细评测数据见GitHub仓库

注意：经测试HuggingFace生成质量略逊于vLLM，建议优先使用vLLM进行评测。我们正在排查此问题。

局限性说明

• 受模型规模限制，可能出现幻觉现象。DPO版本因生成长回复更易出现该问题，我们将持续迭代优化。
• 为保持学术通用性，未进行身份认同训练。由于采用ShareGPT开源语料，输出可能包含类似GPT的身份标识。
• 模型输出对提示词敏感，相同问题可能产生不一致回答。
• 知识记忆准确性有限，后续将结合RAG技术增强该能力。

模型下载

使用指南

• 安装transformers>=4.36.0及accelerate后运行：
• 重要：必须在from_pretrained中显式指定模型数据类型以避免计算误差

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM-2B-sft-bf16'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？", temperature=0.8, top_p=0.8)
print(responds)

• 预期输出：

山东省最高的山是泰山，海拔1545米。

相对于黄山（海拔1864米），泰山海拔较低，相差约319米。

开源协议

模型授权

• 代码遵循Apache-2.0协议
• 模型权重使用需遵守《通用模型许可协议》
• 学术研究可自由使用
• 商业用途需邮件联系cpm@modelbest.cn获取授权证书（登记后免费）

免责声明

• MiniCPM作为语言模型，其输出内容不代表开发者立场
• 使用者需对生成内容自行评估验证
• 因使用模型导致的任何风险（包括但不限于数据安全/舆论风险/模型滥用等），开发者不承担责任

引用须知

若MiniCPM对您的研究有帮助，请引用技术报告：

@inproceedings{minicpm2024,
 title={MiniCPM：端侧大语言模型的潜力探索},
 booktitle={OpenBMB技术博客},
 year={2024}
}