量化者：cjpais
基础模型：vikhyatk/moondream2
任务类型：图像文本到文本
许可证：apache-2.0
标签：

• llamafile

为 moondream2 生成的 llamafile

特别感谢 @jartine 和 @vikhyat 在 llamafile 和 moondream 上的杰出贡献。

如何运行（macOS 和 Linux）

1. 下载 moondream2.llamafile
2. chmod +x moondream2.llamafile - 赋予可执行权限
3. ./moondream2.llamafile - 运行 llama.cpp 服务器

版本

1. Q5_M
2. Q8_0

简短测试表明，Q8 版本表现显著更优。

原始模型卡片

moondream2 是一款小型视觉语言模型，专为在边缘设备上高效运行而设计。详情请查看 GitHub 仓库，或直接在 Hugging Face Space 上体验！

基准测试

使用方法

pip install transformers einops  

from transformers import AutoModelForCausalLM, AutoTokenizer  
from PIL import Image  

model_id = "vikhyatk/moondream2"  
revision = "2024-04-02"  
model = AutoModelForCausalLM.from_pretrained(  
    model_id, trust_remote_code=True, revision=revision  
)  
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)  

image = Image.open('<图片路径>')  
enc_image = model.encode_image(image)  
print(model.answer_question(enc_image, "描述这张图片。", tokenizer))  

模型会定期更新，建议按上述方式固定到特定版本以确保稳定性。