许可协议：apache-2.0
数据集：

• remyxai/vqasynth_spacellava
  标签：
• remyx
• vqasynth
• 空间推理
• 多模态
• 视觉语言模型
• vlm
• llava
• 机器人
• 具身智能
• 定量空间推理
• 距离估计
  基础模型：
• liuhaotian/llava-v1.5-13b
  语言：
• 英文
  任务类型：图像文本到文本
  库名称：transformers
  新版本：remyxai/SpaceQwen2.5-VL-3B-Instruct

SpaceLLaVA

• 模型类型：多模态，视觉语言模型
• 架构：llava-v1.5-13b
• 模型大小：13.4B参数（FP16）
• 微调来源：liuhaotian/llava-v1.5-13b
• 微调策略：LoRA（低秩适应）
• 许可协议：Apache-2.0

模型概述

SpaceLLaVA 是基于LLaVA-1.5（13B）改进的视觉语言模型，通过LoRA微调提升空间推理能力。
训练使用了受SpatialVLM方法启发的合成VQA数据集。
在从VQASynth流程中蒸馏3D场景理解后，SpaceLLaVA展现出强大的定性与定量空间推理能力。

运行SpaceLLaVA

GGUF

使用此笔记本通过llama-cpp-python查询场景中物体间的空间关系。

Docker

docker build -f Dockerfile -t spacellava-server:latest

docker run -it --rm --gpus all -p8000:8000 -p8001:8001 -p8002:8002 --shm-size 12G spacellava-server:latest

python3 client.py --image_path "https://remyx.ai/assets/spatialvlm/warehouse_rgb.jpg" --prompt "戴红帽子的男人与货箱托盘之间的距离是多少？"

数据集与训练

• 数据集：SpaceLLaVA

• 代码：VQASynth

• 参考文献：SpatialVLM

• 约28,000个合成样本，通过3D场景重建流程生成模板化VQA对

• 格式：图像（RGB）、问题（文本）、答案（文本）

• 空间关系类型包括：“距离”、“大小”、“左侧”、“上方”、“更近”、“内部”

LoRA监督微调脚本详见trl
探索SpaceVLMs系列

模型评估（即将推出）

待办：基于VLMEvalKit的QSpatial基准测试、VSR等评估

Discord体验：http://discord.gg/b2yGuCNpuC

⚠️ 限制与伦理考量

• 在杂乱环境或特殊摄像机视角下性能可能下降。
• 本模型通过互联网图像数据集的合成推理进行微调。
• 基础模型（LLaVA）固有的多模态偏见可能仍然存在。
• 不适用于安全关键或法律决策场景。

建议用户审慎评估输出结果，并根据领域需求进行安全性和性能微调。

许可与引用

基于Apache-2.0许可。

@article{chen2024spatialvlm,  
  title = {SpatialVLM：赋予视觉语言模型空间推理能力},  
  author = {陈博远、徐卓、Sean Kirmani等},  
  journal = {arXiv预印本 arXiv:2401.12168},  
  year = {2024},  
  url = {https://arxiv.org/abs/2401.12168},  
}  

@misc{liu2023llava,  
      title={视觉指令微调},  
      author={刘昊天、李春元、吴清阳等},  
      publisher={NeurIPS},  
      year={2023},  
}