pipeline_tag: 图像文本到文本 datasets:

• openbmb/RLAIF-V-Dataset library_name: transformers language:
• 多语言 tags:
• minicpm-v
• 视觉
• ocr
• 多图像
• 视频
• 自定义代码

手机端可用的GPT-4V级别多模态大模型，支持单图、多图和视频理解

GitHub | 演示

MiniCPM-V 2.6

MiniCPM-V 2.6是MiniCPM-V系列最新最强的模型。该模型基于SigLip-400M和Qwen2-7B构建，总参数量达80亿。相比MiniCPM-Llama3-V 2.5有显著性能提升，并新增多图和视频理解能力。MiniCPM-V 2.6的突出特性包括：

• 🔥 领先性能 在最新版OpenCompass综合评估（覆盖8大主流基准）中，MiniCPM-V 2.6平均得分达65.2分。仅80亿参数即超越GPT-4o mini、GPT-4V、Gemini 1.5 Pro和Claude 3.5 Sonnet等商用模型的单图理解能力。

• 🖼️ 多图理解与上下文学习 支持跨多图对话推理，在Mantis-Eval、BLINK、Mathverse mv和Sciverse mv等多图基准上达到SOTA水平，并展现出优秀的上下文学习能力。

• 🎬 视频理解 支持视频输入，可进行时空信息对话与密集描述。在Video-MME基准（含/不含字幕）上超越GPT-4V、Claude 3.5 Sonnet和LLaVA-NeXT-Video-34B。

• 💪 强大OCR与其他能力 支持任意长宽比图像（最高1344x1344/180万像素）处理，在OCRBench上达到SOTA水平，超越GPT-4o、GPT-4V和Gemini 1.5 Pro等商用模型。 基于最新RLAIF-V和VisCPM技术，具有可信行为（在Object HalBench上的幻觉率显著低于GPT-4o/GPT-4V），支持中英德法意韩等多语言能力。

• 🚀 极致效率 除轻量级体积外，还具备SOTA级token密度（即每视觉token编码的像素数）。处理180万像素图像仅生成640个token，比主流模型少75%，直接提升推理速度、首token延迟、内存占用和功耗表现。因此可高效支持iPad等终端设备的实时视频理解。

• 💫 开箱即用 提供多种使用方式：(1) llama.cpp和ollama支持本地CPU推理，(2) 16种规格的int4和GGUF量化模型，(3) 支持高效内存的vLLM推理，(4) 新领域/任务微调，(5) 快速本地Gradio WebUI部署，(6) 在线演示。

性能评估

OpenCompass、MME、MMVet、OCRBench、MMMU、MathVista、MMB、AI2D、TextVQA、DocVQA、HallusionBench、Object HalBench单图评估结果：

^* 使用思维链提示进行评估

⁺ Token密度：最大分辨率下每视觉token编码的像素数，即最大分辨率像素数/视觉token数

注：商用模型的token密度根据API文档中的图像编码计费策略计算，为上限估计值

案例展示

点击查看更多案例

我们在终端设备部署了MiniCPM-V 2.6。演示视频为iPad Pro上的原始录屏（未经剪辑）。