license: apache-2.0 language:

• en pipeline_tag: visual-question-answering tags:
• chat

mPLUG-Owl3

简介

mPLUG-Owl3 是一款领先的多模态大语言模型，专为解决长图像序列理解难题而设计。我们提出的超注意力机制（Hyper Attention）将多模态大语言模型中长视觉序列理解速度提升六倍，同时支持处理八倍长度的视觉序列。该模型在单图、多图和视频任务上均保持卓越性能。

GitHub: mPLUG-Owl

最新进展

mPLUG-Owl3-7B-241101 是 mPLUG-Owl3-7B-240728 的改进版本。

融合超注意力机制

原版本需分别计算交叉注意力和自注意力，并通过自适应门融合输出结果。现采用统一运算，仅需单次注意力计算。

媒体输入新模板

采用以下格式表示分割后的高分辨率图像。新增支持多图输入时的图像分割功能（旧版本未针对此组合场景训练）：

<|start_cut|>2*3
<|image|> <|image|> <|image|>
<|image|> <|image|> <|image|>
<|image|><|end_cut|>

视频输入格式：

<|start_video_frame|><|image|><|image|><|image|><|end_video_frame|>

优化媒体偏移量

原版media_offset记录每个token可见的图像范围。训练时因多样本图像沿批次维度拼接，需谨慎修改偏移量。新版采用List[List[int]]结构，直接表示样本中各图像在原始序列中的位置，使交叉注意力掩码和MI-Rope计算更高效。

所有改进均由处理器自动处理，用户无需调整原有调用方式。

视频与多图场景性能提升