pipeline_tag: 图像-文本到文本 language:

• 多语言 datasets:
• openbmb/RLAIF-V数据集 library_name: transformers tags:
• minicpm-v
• 视觉
• 光学字符识别
• 自定义代码

手机端运行的GPT-4V级多模态大模型

GitHub | 演示 | 微信

最新动态

📌 置顶

• [2025.01.14] 🔥🔥 🔥 开源MiniCPM-o 2.6，相比MiniCPM-V 2.6性能显著提升，支持实时语音对话与多模态直播，立即体验。

• [2024.08.10] 🚀🚀🚀 MiniCPM-Llama3-V 2.5现已全面支持官方 llama.cpp！多种规格GGUF模型已发布在此。

• [2024.08.06] 🔥🔥🔥 开源MiniCPM-V 2.6，在单图、多图及视频理解任务上超越GPT-4V。该版本升级了MiniCPM-Llama3-V 2.5的热门功能，支持iPad端实时视频理解，立即体验！

• [2024.08.03] MiniCPM-Llama3-V 2.5技术报告发布！查看详情。

• [2024.07.19] MiniCPM-Llama3-V 2.5现已支持vLLM！参见说明。

• [2024.05.28] 💫 MiniCPM-Llama3-V 2.5现支持LoRA微调，仅需2张V100显卡！查看内存占用统计。

• [2024.05.23] 🔥🔥🔥 MiniCPM-V登顶GitHub与HuggingFace趋势榜！Hugging Face官方推荐的演示空间在此，欢迎体验！

• [2024.05.20] 开源MiniCPM-Llama3-V 2.5，OCR能力升级并支持30+语言，成为首个达到GPT-4V水平的端侧多模态大模型！我们提供高效推理与简易微调，立即试用！

模型概览

MiniCPM-Llama3-V 2.5是MiniCPM-V系列最新模型。该模型基于SigLip-400M和Llama3-8B-Instruct构建，参数量总计8B，性能较MiniCPM-V 2.0显著提升。核心亮点包括：

• 🔥 顶尖性能。 在OpenCompass涵盖11个主流基准的综合评测中，MiniCPM-Llama3-V 2.5以65.1的平均分超越GPT-4V-1106、Gemini Pro、Claude 3和Qwen-VL-Max等商用模型，大幅领先其他基于Llama 3的多模态大模型。

• 💪 超强OCR。 支持任意长宽比图像处理（最高1344x1344/180万像素），在OCRBench评测中获得700+分，超越GPT-4o、GPT-4V-0409等商用模型。根据用户反馈，2.5版本强化了全文提取、表格转Markdown等高实用功能，并提升复杂推理与指令跟随能力。

• 🏆 可信表现。 采用RLAIF-V技术（RLHF-V [CVPR'24]系列最新成果），在Object HalBench上的幻觉率仅10.3%，低于GPT-4V-1106（13.6%），达到开源社区最佳水平。数据已开源。

• 🌏 多语言覆盖。 依托Llama 3的多语言优势与VisCPM的跨语言泛化技术，将中英双语能力扩展至德、法、西、意、韩、日等30+语言。支持语言列表。

• 🚀 高效部署。 通过量化、CPU/NPU优化、编译优化等系统级方案，实现在终端设备的高效部署。首次将高通NPU加速框架QNN集成至llama.cpp，经系统优化后，端侧图像编码速度提升150倍，文本解码速度提升3倍。

• 💫 开箱即用。 支持多种使用方式：(1) llama.cpp与ollama本地CPU推理，(2) 16种规格的GGUF量化模型，(3) 仅需2张V100的LoRA微调，(4) 流式输出，(5) Gradio/Streamlit快速搭建WebUI，(6) HuggingFace Spaces交互演示。

评测表现

在TextVQA、DocVQA、OCRBench、OpenCompass多模态平均分、MME、MMBench、MMMU、MathVista、LLaVA Bench、RealWorld QA、Object HalBench等基准上的结果。

多语言LLaVA Bench评测结果

案例展示

我们在终端设备部署MiniCPM-Llama3-V 2.5。演示视频为小米14 Pro原生录屏未剪辑效果。