许可证：apache-2.0
数据集：

• HuggingFaceM4/OBELICS
• laion/laion-coco
• 维基百科
• facebook/pmd
• pixparse/idl-wds
• pixparse/pdfa-eng-wds
• wendlerc/RenderedText
• HuggingFaceM4/the_cauldron
• teknium/OpenHermes-2.5
• GAIR/lima
• databricks/databricks-dolly-15k
• meta-math/MetaMathQA
• TIGER-Lab/MathInstruct
• microsoft/orca-math-word-problems-200k
• camel-ai/math
• AtlasUnified/atlas-math-sets
• tiedong/goat
• Lin-Chen/ShareGPT4V
• jxu124/llava_conversation_58k

语言：

• 英语

标签：

• 多模态
• 视觉
• 图像文本到文本

/!!!!\ 警告：Idefics2 在 Transformers 版本 4.41.0 至 4.43.3（含）之间无法工作。请参阅问题 https://github.com/huggingface/transformers/issues/32271 和修复 https://github.com/huggingface/transformers/pull/32275。

/!!!!\ 警告：Idefics2 在 Transformers 版本 4.41.0 至 4.43.3（含）之间无法工作。请参阅问题 https://github.com/huggingface/transformers/issues/32271 和修复 https://github.com/huggingface/transformers/pull/32275。

/!!!!\ 警告：Idefics2 在 Transformers 版本 4.41.0 至 4.43.3（含）之间无法工作。请参阅问题 https://github.com/huggingface/transformers/issues/32271 和修复 https://github.com/huggingface/transformers/pull/32275。

/!!!!\ 警告：Idefics2 在 Transformers 版本 4.41.0 至 4.43.3（含）之间无法工作。请参阅问题 https://github.com/huggingface/transformers/issues/32271 和修复 https://github.com/huggingface/transformers/pull/32275。

/!!!!\ 警告：Idefics2 在 Transformers 版本 4.41.0 至 4.43.3（含）之间无法工作。请参阅问题 https://github.com/huggingface/transformers/issues/32271 和修复 https://github.com/huggingface/transformers/pull/32275。

截至 2024 年 4 月 18 日，Idefics2 已包含在 4.40.0 版本的 Transformers PyPI 发布中。请升级您的 Transformers 版本（pip install transformers --upgrade）。

Idefics2

Idefics2 是一个开源的多模态模型，能够接受任意序列的图像和文本输入，并生成文本输出。该模型可以回答关于图像的问题、描述视觉内容、基于多张图像创作故事，或者在没有视觉输入的情况下作为纯语言模型运行。它在 Idefics1 的基础上进行了显著改进，特别是在 OCR、文档理解和视觉推理方面的能力得到了大幅提升。

我们根据 Apache 2.0 许可证发布了 2 个检查点：

• idefics2-8b-base：基础模型
• idefics2-8b：在监督和指令数据集（纯文本和多模态数据集）的混合数据上进行微调的基础模型
• idefics2-8b-chatty：在长对话数据上进一步微调的 idefics2-8b

模型概述

• 开发团队： Hugging Face
• 模型类型： 多模态模型（图像+文本）
• 支持的语言（NLP）： 英语
• 许可证： Apache 2.0
• 基础模型： google/siglip-so400m-patch14-384 和 mistralai/Mistral-7B-v0.1
• 更多信息：
  • OBELICS 的描述：OBELICS: An Open Web-Scale Filtered Dataset of Interleaved Image-Text Documents
  • 论文：What matters when building vision-language models?

用途

idefics2-8b-base 和 idefics2-8b 可用于执行多模态（图像+文本）任务的推理，其中输入由文本查询和一张（或多张）图像组成。文本和图像可以任意交错排列。这包括图像描述、视觉问答等任务。这些模型不支持图像生成。

为了获得最佳效果，我们建议在特定用例和数据上对 idefics2-8b 进行微调。实际上，经过指令微调的模型（idefics2-8b）在遵循用户指令方面表现更好，因此在直接使用模型或作为微调起点时应优先选择。

idefics2-8b 通常生成非常简短的答案。如果需要生成长文本，请使用 idefics2-8b-chatty，该模型在长对话数据上进行了进一步微调。

作为起点，我们提供了可以针对特定场景进行调整的微调代码：

• 使用 TRL 库：脚本
• 使用 Hugging Face Trainer：教程笔记本

技术总结

Idefics2 在其规模（80 亿参数）下与其他开源多模态模型相比表现出色，并且通常能与闭源系统竞争。因此，它是各种特定用例微调的强大基础。

Idefics2 相对于 Idefics1 进行了多项精心设计的改进：

• 我们通过遵循 NaViT 策略，以原生分辨率（最高 980 x 980）和原生宽高比处理图像。这避免了传统计算机视觉领域中将图像调整为固定大小正方形的需求。此外，我们遵循 SPHINX 的策略，（可选地）允许子图像分割和传递非常高分辨率的图像。
• 我们通过整合需要模型转录图像或文档中文本的数据，显著增强了OCR 能力。我们还通过适当的训练数据提高了回答图表、图形和文档问题的能力。
• 我们摒弃了 Idefics1 的架构（门控交叉注意力），并简化了视觉特征与语言主干的集成。图像被输入到视觉编码器，然后经过学习的 Perceiver