LLaVA项目中llama模型的4位量化版本
项目地址：https://github.com/haotian-liu/LLaVA
模型仓库：https://huggingface.co/liuhaotian/LLaVA-13b-delta-v0

量化命令：

CUDA_VISIBLE_DEVICES=0 python llama.py /workspace/LLaVA-13B-v0/ c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors llava-13b-v0-4bit-128g.safetensors

基于GPTQ的CUDA分支（提交记录57a2629）实现：
https://github.com/oobabooga/GPTQ-for-LLaMa

现在可通过TEXT-GENERATION-WEBUI的llava扩展运行（参见：https://github.com/oobabooga/text-generation-webui/tree/main/extensions/llava）

许可证：other