pipeline_tag: 任意到任意 datasets:

• openbmb/RLAIF-V-Dataset library_name: transformers language:
• 多语言 tags:
• minicpm-o
• 全能型
• 视觉
• 光学字符识别
• 多图像处理
• 视频
• 自定义代码
• 音频
• 语音
• 语音克隆
• 直播
• 实时语音对话
• 自动语音识别
• 文本转语音 base_model:
• openbmb/MiniCPM-o-2_6

手机端运行的GPT-4o级多模态大语言模型：支持视觉、语音与直播流

MiniCPM-o 2.6 int4量化版

这是MiniCPM-o 2.6的int4量化版本。
使用int4版本可显著降低GPU显存占用（约9GB）。

准备代码并安装AutoGPTQ

我们正在提交PR以官方支持minicpm-o 2.6推理

git clone https://github.com/OpenBMB/AutoGPTQ.git && cd AutoGPTQ
git checkout minicpmo

# 安装AutoGPTQ
pip install -vvv --no-build-isolation -e .

MiniCPM-o-2_6-int4使用方法

将模型初始化部分替换为AutoGPTQForCausalLM.from_quantized

import torch
from transformers import AutoModel, AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM

model = AutoGPTQForCausalLM.from_quantized(
    'openbmb/MiniCPM-o-2_6-int4',
    torch_dtype=torch.bfloat16,
    device="cuda:0",
    trust_remote_code=True,
    disable_exllama=True,
    disable_exllamav2=True
)
tokenizer = AutoTokenizer.from_pretrained(
    'openbmb/MiniCPM-o-2_6-int4',
    trust_remote_code=True
)

model.init_tts()

使用方式参考MiniCPM-o-2_6#usage