许可协议：apache-2.0
任务类型：视觉问答

关于

本模型以TinyLlama为基座，通过BakLlava代码库训练而成。

示例

统一提问提示："给定图片中展示了什么内容？"

安装指南

若您未使用Linux系统，请不要继续操作，参考macOS和Windows专用指南。

1. 克隆仓库并进入LLaVA目录

git clone https://github.com/haotian-liu/LLaVA.git  
cd LLaVA  

2. 安装依赖包

conda create -n llava python=3.10 -y  
conda activate llava  
pip install --upgrade pip  # 启用PEP 660支持  
pip install -e .  

3. 安装训练所需附加组件

pip install -e ".[train]"  
pip install flash-attn --no-build-isolation  

升级至最新代码库

git pull  
pip install -e .  

启动控制器

python -m llava.serve.controller --host 0.0.0.0 --port 10000  

启动Gradio网页服务器

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload  

此时已启动Gradio网页界面。您可以通过终端显示的URL访问该界面。请注意模型列表初始为空，这是因为尚未启动模型工作节点。当您启动工作节点后，列表将自动更新。

启动模型工作节点

这是实际在GPU上执行推理的工作节点。每个节点对应--model-path指定的单一模型。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path ameywtf/tinyllava-1.1b-v0.1  

等待模型加载完成直至出现"Uvicorn running on..."提示。此时刷新Gradio网页界面，即可在模型列表中看到刚加载的模型。

您可启动多个工作节点，在同一个Gradio界面中对比不同模型检查点。请保持--controller参数不变，并为每个工作节点修改--port和--worker端口号：

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port <不同于40000，如40001> --worker http://localhost:<相应修改，如40001> --model-path <检查点2>  

若使用配备M1/M2芯片的Apple设备，可通过--device参数指定mps设备：--device mps。