language: zh license: mit

Kosmos-2.5

微软文档智能 | GitHub

模型描述

Kosmos-2.5是一款面向文本密集图像机器阅读的多模态读写模型。通过在大规模文本密集图像上进行预训练，该模型在两项协同任务中表现卓越：(1) 生成空间感知的文本块——每个文本块均标注其在图像中的坐标位置；(2) 输出结构化文本，将样式与结构转化为Markdown格式。这种统一的多模态读写能力通过共享的自回归解码器Transformer架构、任务特定提示词及灵活文本表征实现。我们在端到端文档级文本识别和图像转Markdown文本生成任务上评估了模型性能。此外，通过监督微调配合不同提示词，模型可快速适配任何文本密集图像理解任务，成为处理现实世界富文本图像的通用工具。此项研究也为多模态大语言模型的未来扩展奠定了基础。

Kosmos-2.5：多模态读写模型

重要说明：

由于是生成式模型，推理过程可能存在幻觉现象，且无法保证图像中所有OCR/Markdown结果的准确性。

推理使用

Markdown任务： 使用说明详见md.py

OCR任务： 使用说明详见ocr.py

引用

若Kosmos-2.5对您的研究有所助益，请引用以下论文：

@article{lv2023kosmos,
  title={Kosmos-2.5：多模态读写模型},
  author={吕腾超，黄玉磐，陈静野，崔磊，马树铭，常瑶瑶，黄少晗，王文辉，董力，罗维尧等},
  journal={arXiv预印本 arXiv:2309.11419},
  year={2023}
}

许可证

本项目内容遵循MIT许可协议

微软开源行为准则