language:

• en
• zh tags:
• MiniCPM
• ModelBest
• THUNLP

MiniCPM技术报告技术报告（英文） | OmniLMM多模态模型 | CPM-C千亿模型试用

MiniCPM是由面壁智能与清华大学自然语言处理实验室联合开源的一系列端侧大语言模型，其核心语言模型MiniCPM-2B仅含24亿（2.4B）非词嵌入参数。

• 经监督微调（SFT）后，MiniCPM在公开综合评测中表现接近Mistral-7B（中文、数学与代码能力更优），整体性能超越Llama2-13B、MPT-30B、Falcon-40B等模型。
• 经直接偏好优化（DPO）后，在用户体感最接近的MTBench评测中，MiniCPM-2B超越了Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha等主流开源大模型。
• 基于MiniCPM-2B构建的端侧多模态大模型MiniCPM-V，在同等规模模型中综合性能最优，超越基于Phi-2构建的现有多模态模型，部分评测结果与9.6B参数的Qwen-VL-Chat相当或更优。
• 经Int4量化后，MiniCPM可在手机端实现流式推理，生成速度略快于人类语速。MiniCPM-V更成为首个可在手机端运行的多模态大模型。
• 单张1080/2080显卡即可高效微调参数，3090/4090显卡支持全参数微调，单机即可完成持续训练，二次开发成本极低。

我们将完整开源MiniCPM-2B的模型参数（供学术研究与有限商用），并公开训练过程中的所有检查点及大部分非专有数据，助力模型机理研究。

• MiniCPM-2B-SFT/DPO：基于MiniCPM-2B的指令微调与人类偏好对齐版本
• MiniCPM-V：基于MiniCPM-2B的多模态模型，性能超越同参数规模的Phi-2多模态方案
• MiniCPM-2B-SFT/DPO-Int4：支持Int4量化的轻量化版本
• 基于MLC-LLM与LLMFarm开发的手机端应用，支持文本与多模态模型的移动端推理

评测结果

详细评测数据请参阅GitHub仓库

注意：当前Huggingface生成质量略逊于vLLM，建议优先使用vLLM进行测试，我们正在排查原因。

局限性说明

• 受模型规模限制，可能出现幻觉现象。DPO版本因生成长文本更易出现该问题，我们将持续优化迭代；
• 为保持学术通用性，未进行身份认同训练。因采用ShareGPT开源语料，输出可能包含类似GPT的身份标识；
• 模型输出对提示词敏感，多次尝试可能产生不一致结果；
• 知识记忆准确性有限，后续将结合RAG技术增强该能力。

模型下载

使用指南

• 安装transformers>=4.36.0及accelerate后运行：
• 重要：必须在from_pretrained中显式指定模型数据类型以避免计算误差

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM-2B-dpo-bf16'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？", temperature=0.8, top_p=0.8)
print(responds)

• 预期输出：

山东省最高的山是泰山，海拔1545米。

相对于黄山（海拔1864米），泰山海拔较低，相差约319米。

开源协议

模型授权

• 代码遵循Apache-2.0协议
• 模型权重使用需遵守《通用模型许可协议》
• 学术研究可自由使用
• 商业用途需联系cpm@modelbest.cn获取书面授权（登记后可免费商用）

免责声明

• MiniCPM作为语言模型，其生成内容不代表开发者立场
• 使用者需对生成内容自行评估验证
• 因使用模型导致的任何风险（包括但不限于数据安全、舆论风险及模型滥用问题），开发者不承担责任

引用声明

若MiniCPM对您的研究有帮助，请引用技术报告：

@inproceedings{minicpm2024,
 title={MiniCPM：揭示端侧大语言模型的潜力},
 booktitle={OpenBMB技术博客},
 year={2024}
}