许可协议：Apache-2.0
任务类型：视觉问答

关于

本模型以TinyLlama为基础模型，通过BakLlava代码库训练而成。

示例

使用的提示词均为："给定图片中展示了什么内容？"

安装

若您未使用Linux系统，请不要继续操作，可参考macOS和Windows的安装指南。

1. 克隆本仓库并进入LLaVA目录

git clone https://github.com/haotian-liu/LLaVA.git  
cd LLaVA  

2. 安装依赖包

conda create -n llava python=3.10 -y  
conda activate llava  
pip install --upgrade pip  # 启用PEP 660支持  
pip install -e .  

3. 安装训练所需的附加包

pip install -e ".[train]"  
pip install flash-attn --no-build-isolation  

升级至最新代码库

git pull  
pip install -e .  

启动控制器

python -m llava.serve.controller --host 0.0.0.0 --port 10000  

启动Gradio网页服务器

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload  

此时Gradio网页界面已启动，您可以通过屏幕上显示的URL访问该界面。可能会注意到模型列表中尚无模型，这是因为尚未启动任何模型工作进程。当您启动模型工作进程后，列表将自动更新。

启动模型工作进程

这是实际在GPU上执行推理的工作进程。每个工作进程负责处理--model-path中指定的单个模型。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path ameywtf/tinyllava-1.1b-v0.1  

等待进程完成模型加载并显示"Uvicorn running on ..."后，刷新Gradio网页界面，即可在模型列表中看到刚启动的模型。

您可以启动任意数量的工作进程，并在同一Gradio界面中比较不同模型检查点。请保持--controller参数不变，并为每个工作进程修改--port和--worker的端口号。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port <不同于40000，例如40001> --worker http://localhost:<相应修改，如40001> --model-path <ckpt2>  

若您使用的是配备M1或M2芯片的Apple设备，可通过--device标志指定mps设备：--device mps。