数据集:

• openbmb/RLAIF-V-Dataset 语言:
• 多语言 库名称: transformers 任务标签: 图像文本到文本 标签:
• minicpm-v
• 视觉
• ocr
• 多图像
• 视频
• 自定义代码

MiniCPM-V-2_6-RK3588-1.1.4

此版本的MiniCPM-V-2_6已转换为在RK3588 NPU上运行，使用了['w8a8', 'w8a8_g128', 'w8a8_g256', 'w8a8_g512']量化。 该模型已通过以下LoRA优化：

兼容RKLLM版本: 1.1.4

有用链接:

官方RKLLM GitHub

RockhipNPU Reddit

EZRKNN-LLM

这些人的几乎所有作品: marty1885 和 happyme531

使用 https://github.com/c0zaut/ez-er-rkllm-toolkit 转换

以下是基础模型MiniCPM-V-2_6的原始模型卡:

一款手机上的GPT-4V级别MLLM，支持单图、多图和视频

GitHub | 演示

MiniCPM-V 2.6

MiniCPM-V 2.6 是MiniCPM-V系列中最新的、性能最强的模型。该模型基于SigLip-400M和Qwen2-7B构建，总参数量为8B。相比MiniCPM-Llama3-V 2.5，它表现出显著的性能提升，并引入了多图像和视频理解的新功能。MiniCPM-V 2.6的显著特点包括：

• 🔥 领先性能。 MiniCPM-V 2.6在最新版OpenCompass上取得了65.2的平均分，这是对8个流行基准的综合评估。仅凭8B参数，它在单图理解上超越了广泛使用的专有模型如GPT-4o mini、GPT-4V、Gemini 1.5 Pro和Claude 3.5 Sonnet。

• 🖼️ 多图像理解和上下文学习。 MiniCPM-V 2.6还能在多张图像上进行对话和推理。它在流行的多图像基准如Mantis-Eval、BLINK、Mathverse mv和Sciverse mv上取得了最先进的性能，并展现出有前景的上下文学习能力。

• 🎬 视频理解。 MiniCPM-V 2.6还能接受视频输入，进行对话并提供时空信息的密集描述。它在Video-MME上（带/不带字幕）的表现超过了GPT-4V、Claude 3.5 Sonnet和LLaVA-NeXT-Video-34B。

• 💪 强大的OCR能力及其他。 MiniCPM-V 2.6可以处理任意宽高比、高达180万像素（如1344x1344）的图像。它在OCRBench上取得了最先进的性能，超越了专有模型如GPT-4o、GPT-4V和Gemini 1.5 Pro。 基于最新的RLAIF-V和VisCPM技术，它具有可信赖的行为，在Object HalBench上的幻觉率显著低于GPT-4o和GPT-4V，并支持多语言能力（英语、中文、德语、法语、意大利语、韩语等）。

• 🚀 卓越效率。 除了友好的尺寸，MiniCPM-V 2.6还展现出最先进的令牌密度（即每个视觉令牌编码的像素数量）。处理180万像素图像时仅生成640个令牌，比大多数模型少75%。这直接提升了推理速度、首令牌延迟、内存使用和功耗。因此，MiniCPM-V 2.6能高效支持端侧设备（如iPad）上的实时视频理解。

• 💫 易用性。 MiniCPM-V 2.6可以通过多种方式轻松使用：(1) llama.cpp和ollama支持本地设备的高效CPU推理，(2) int4和GGUF格式的量化模型（16种尺寸），(3) vLLM支持高吞吐量和内存高效推理，(4) 在新领域和任务上微调，(5) 使用Gradio快速设置本地WebUI演示，(6) 在线网页演示。

评估

OpenCompass、MME、MMVet、OCRBench、MMMU、MathVista、MMB、AI2D、TextVQA、DocVQA、HallusionBench、Object HalBench上的单图结果:

^* 我们使用思维链提示评估此基准。

⁺ 令牌密度：在最大分辨率下每个视觉令牌编码的像素数，即最大分辨率下的像素数/视觉令牌数。

注：对于专有模型，我们根据官方API文档中定义的图像编码计费策略计算令牌密度，这提供了上限估计。