许可证：apache-2.0
基础模型：

• mistral-community/pixtral-12b
  任务类型：图像文本到文本
  库名称：transformers

由 mistral-community/pixtral-12b 使用 BitsAndBytes 进行 NF4（4位）量化转换而来。未采用双重量化。
加载需依赖 bitsandbytes。

图像描述生成示例用法：

from transformers import LlavaForConditionalGeneration, AutoProcessor, BitsAndBytesConfig
from PIL import Image
import time

# 加载模型
model_id = "SeanScripts/pixtral-12b-nf4"
model = LlavaForConditionalGeneration.from_pretrained(
    model_id,
    use_safetensors=True,
    device_map="cuda:0"
)
# 加载分词器
processor = AutoProcessor.from_pretrained(model_id)

# 为本地图像生成描述
IMG_URLS = [Image.open("test.png").convert("RGB")]
PROMPT = "<s>[INST]为这张图像生成描述：\n[IMG][/INST]"

inputs = processor(images=IMG_URLS, text=PROMPT, return_tensors="pt").to("cuda")
prompt_tokens = len(inputs['input_ids'][0])
print(f"提示词标记数：{prompt_tokens}")

t0 = time.time()
generate_ids = model.generate(**inputs, max_new_tokens=512)
t1 = time.time()
total_time = t1 - t0
generated_tokens = len(generate_ids[0]) - prompt_tokens
time_per_token = generated_tokens/total_time
print(f"生成 {generated_tokens} 个标记耗时 {total_time:.3f} 秒（速率 {time_per_token:.3f} 标记/秒）")

output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

在 RTX 4090 上运行时（未启用 flash attention），生成速度约为 10-12 标记/秒，描述质量表现良好（测试样本有限）。显存占用约 10GB。

可通过以下链接获取运行此模型的 ComfyUI 自定义节点集：
https://github.com/SeanScripts/ComfyUI-PixtralLlamaVision