数据集:

• SpursgoZmy/MMTab
• liuhaotian/LLaVA-Instruct-150K
• liuhaotian/LLaVA-Pretrain 语言:
• 英语 评估指标:
• 准确率
• BLEU分数
• F1分数 任务标签: 图像文本到文本转换

Table LLaVA 模型卡片

Table LLaVA 7B 是一款开源多模态聊天机器人，专为理解各类表格图像并完成多样化表格相关任务而设计，例如问答、表格单元格描述及结构理解等。

详情请参阅 ACL 2024 论文: 多模态表格理解

模型详情

模型类型: Table LLaVA 7B 严格遵循 LLaVA-v1.5 的模型架构与训练流程，采用 CLIP-ViT-L-336px 作为视觉编码器（支持336*336图像分辨率），以 Vicuna-v1.5-7B 为基础大语言模型，并配备双层MLP作为视觉语言连接器。

训练采用与LLaVA相同的两阶段流程：

1. 预训练阶段：使用图像描述数据和表格识别数据训练视觉语言连接器
2. 指令微调阶段：通过表格与非表格任务的多模态指令跟随数据，联合训练视觉语言连接器与基础大语言模型

代码库: 我们使用 LLaVA-v1.5官方代码 进行模型训练与推理，模型检查点已上传至本仓库。因此Table LLaVA可通过原版LLaVA v1.5代码以相同方式使用。

模型训练时间: 2024年1月

问题反馈渠道: https://github.com/SpursGoZmy/Table-LLaVA/issues

训练数据集

训练数据包含原始LLaVA-1.5数据及特别构建的MMTab数据集多模态指令跟随数据，该数据集涵盖广泛表格图像及相关任务。

我们还在MMTab数据集中提供了合并版预训练与指令微调数据：enhanced_llava_pretrain_data_708K.json 和 enhanced_llava_sft_data_898K.json，这些数据用于训练Table LLaVA。

评估数据集

包含17个内部保留与7个外部保留的表格基准测试，覆盖15类表格相关任务（如表格问答、表格转文本生成）。同时评估了模型在TextVQA和llava-bench-in-the-wild两个非表格基准的表现。

许可协议

Table LLaVA基于LLaVA-1.5开发，遵循其许可协议。Llama 2采用LLAMA 2社区许可协议，版权归Meta Platforms, Inc.所有。

使用场景

主要用途: 该模型主要用于多模态大模型与聊天机器人的研究，特别是多模态表格理解领域。

目标用户: 计算机视觉、自然语言处理、机器学习及人工智能领域的研究者与爱好者。

局限性

当前模型仅支持单张表格图像输入。多表格联合处理能力有待开发以支持更复杂场景。虽然Table-LLaVA在各类表格任务中表现优异，但336*336的输入分辨率可能限制其性能上限。值得期待的是，随着高分辨率MLLM模型（如Monkey、LLaVA-Next）的出现，未来研究可利用MMTab数据集开发更强大的表格理解模型。