pipeline_tag: 视觉问答

MiniCPM-V

最新动态

• [2025.01.14] 🔥🔥 开源MiniCPM-o 2.6，性能较MiniCPM-V 2.6显著提升，支持实时语音对话与多模态直播，立即体验。
• [2024.08.06] 🔥 开源MiniCPM-V 2.6，单图/多图/视频理解能力超越GPT-4V，继承MiniCPM-Llama3-V 2.5热门功能，支持iPad实时视频理解。
• [2024.05.20] 🔥 发布GPT-4V级多模态模型MiniCPM-Llama3-V 2.5。
• [2024.04.11] 🔥 发布MiniCPM-V 2.0。

MiniCPM-V（即OmniLMM-3B）是专为高效部署设计的高性能轻量级模型。该模型基于SigLip-400M和MiniCPM-2.4B构建，通过感知器重采样器连接。其核心优势包括：

• ⚡️ 极致高效

  可流畅运行于主流GPU显卡与个人电脑，甚至支持手机等终端设备。视觉编码环节通过感知器将图像表征压缩至64个token，远低于基于MLP架构的同类模型（通常>512 token），使推理过程内存占用更低、速度更快。

• 🔥 卓越性能

  在MMMU、MME、MMbench等基准测试中达到同规模模型最优水平，超越所有基于Phi-2构建的LMM模型，部分场景性能比肩甚至超越9.6B参数的Qwen-VL-Chat。

• 🙌 双语支持

  作为首个支持中英双语多模态交互的终端可部署LMM，其跨语言泛化能力源自ICLR 2024焦点论文《Bilingual is All You Need》的技术突破。

性能评估

示例展示

在线演示

点击体验MiniCPM-V在线演示。

移动端部署

当前MiniCPM-V（即OmniLMM-3B）已支持Android与HarmonyOS系统手机部署🚀 具体方法参见部署指南。

使用指南

通过Huggingface transformers在Nvidia GPU或配备MPS的Mac（Apple芯片/AMD GPU）上运行推理。Python 3.10环境依赖：

Pillow==10.1.0
timm==0.9.10
torch==2.1.2
torchvision==0.16.2
transformers==4.36.0
sentencepiece==0.1.99

# test.py
import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('openbmb/MiniCPM-V', trust_remote_code=True, torch_dtype=torch.bfloat16)
# 支持BF16的Nvidia GPU（如A100/H100/RTX3090）
model = model.to(device='cuda', dtype=torch.bfloat16)
# 不支持BF16的Nvidia GPU（如V100/T4/RTX2080）
#model = model.to(device='cuda', dtype=torch.float16)
# 苹果芯片/AMD GPU的Mac设备
# 需设置环境变量PYTORCH_ENABLE_MPS_FALLBACK=1后运行
#model = model.to(device='mps', dtype=torch.float16)

tokenizer = AutoTokenizer.from_pretrained('openbmb/MiniCPM-V', trust_remote_code=True)
model.eval()

image = Image.open('xx.jpg').convert('RGB')
question = '图像内容是什么？'
msgs = [{'role': 'user', 'content': question}]

res, context, _ = model.chat(
    image=image,
    msgs=msgs,
    context=None,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.7
)
print(res)

更多使用细节请参阅GitHub项目。

许可协议

模型许可

• 代码库遵循Apache-2.0开源协议。
• MiniCPM-V系列模型权重使用需严格遵守MiniCPM模型许可协议。
• MiniCPM模型权重对学术研究完全开放，填写问卷登记后亦可免费商用。

免责声明

• 作为大语言模型，MiniCPM-V通过海量文本学习生成内容，但不具备价值判断能力。其输出不代表开发者观点与立场。
• 开发者不对开源模型使用引发的任何问题承担责任，包括但不限于数据安全、舆论风险及模型误用、滥用导致的后果。