Kosmos 2.5

🚀 Kosmos-2.5

Kosmos-2.5是一款用于文本密集型图像机器阅读的多模态模型。它在大规模文本密集型图像上进行预训练，能够出色完成两种不同但相互协作的转录任务，为文本丰富图像的相关实际应用提供了通用解决方案，也为多模态大语言模型的未来发展奠定了基础。

Microsoft Document AI | GitHub

🚀 快速开始

推理

• Markdown任务：使用说明请参考 md.py。
• OCR任务：使用说明请参考 ocr.py。

✨ 主要特性

Kosmos-2.5是用于文本密集型图像机器阅读的多模态模型。在大规模文本密集型图像上进行预训练后，Kosmos-2.5在两项不同但相互协作的转录任务中表现出色：

1. 生成具有空间感知的文本块：为图像中的每个文本块分配其在图像内的空间坐标。
2. 生成结构化文本输出：将样式和结构转换为Markdown格式。

这种统一的多模态能力是通过共享的仅解码器自回归Transformer架构、特定任务的提示和灵活的文本表示来实现的。我们在端到端文档级文本识别和图像到Markdown文本生成任务上对Kosmos-2.5进行了评估。此外，通过有监督的微调，该模型可以使用不同的提示轻松适应任何文本密集型图像理解任务，使其成为处理富含文本图像的现实应用的通用工具。这项工作也为多模态大语言模型的未来扩展铺平了道路。

Kosmos-2.5: A Multimodal Literate Model

📚 详细文档

注意事项

⚠️ 重要提示

由于这是一个生成式模型，在生成过程中存在幻觉风险，并且无法保证图像中所有OCR/Markdown结果的准确性。

引用

如果您在研究中发现Kosmos-2.5很有用，请引用以下论文：

@article{lv2023kosmos,
  title={Kosmos-2.5: A multimodal literate model},
  author={Lv, Tengchao and Huang, Yupan and Chen, Jingye and Cui, Lei and Ma, Shuming and Chang, Yaoyao and Huang, Shaohan and Wang, Wenhui and Dong, Li and Luo, Weiyao and others},
  journal={arXiv preprint arXiv:2309.11419},
  year={2023}
}

📄 许可证

本项目的内容遵循 MIT 许可协议。

Microsoft Open Source Code of Conduct