许可协议：apache-2.0
数据集：

• mikewang/PVD-160K

基于文本的矢量图形推理

🌐 主页 • 📃 论文 • 🤗 数据集 (PVD-160k) • 🤗 模型 (PVD-160k-Mistral-7b) • 💻 代码

我们发现当前*大型多模态模型（LMMs）*在处理需要精确感知低级视觉细节的简单推理任务时仍存在困难，例如识别空间关系或解决基本迷宫问题。尤其在关于矢量图形（完全由二维对象和形状组成的图像）的问答任务中，这种失效模式持续存在。

为解决这一挑战，我们提出视觉描述语言模型（VDLM）——一个基于中间文本视觉描述（SVG表示和习得的原始视觉描述）的视觉推理框架，可直接集成到现有LLMs和LMMs中。实验表明，在涉及矢量图形的多种多模态推理任务中，VDLM的表现优于GPT-4V等最先进的大型多模态模型。详见我们的论文。