language:

• zh

🌔 月梦1号（moondream1）

由 @vikhyatk 开发的16亿参数模型，融合了SigLIP、Phi-1.5技术架构，并基于LLaVa训练数据集构建。本模型仅限研究用途，禁止商业使用。

立即在Huggingface Spaces体验！

使用指南

pip install transformers timm einops

from transformers import AutoModelForCausalLM, CodeGenTokenizerFast as Tokenizer
from PIL import Image

model_id = "vikhyatk/moondream1"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = Tokenizer.from_pretrained(model_id)

image = Image.open('<图片路径>')
enc_image = model.encode_image(image)
print(model.answer_question(enc_image, "<问题>", tokenizer))

性能基准

示例演示

图片	交互示例
	这本书的标题是什么？ 《深度学习小手册》 关于这本书你能告诉我什么？ 图中书籍名为《深度学习小手册》，看似是关于深度学习领域的指南类读物。其小巧轻薄的设计便于随身携带阅读。拍摄场景显示持书者可能身处带观景视野的生活或工作空间。鉴于书名暗示内容聚焦深度学习前沿概念，书中知识体系应较为专业。 图中人物站在何处？ 人物正站在室外阳台或露台上。
	女孩手里拿着什么食物？ 女孩手持一个汉堡包。 女士的发色是什么？ 女士的头发是银白色的。 图中的女孩在做什么？ 女孩正在吃汉堡。
	列车是什么颜色？ 列车呈红色。 图中的公交车在做什么？ 公交车正沿城市街道行驶，穿过十字路口。 图中出现了哪种公共交通工具？ 图中公共交通工具为一辆红色有轨电车/列车。
	女孩在看什么？ 女孩正注视着镜中的自己。 女士的发色是什么？ 女士的头发是棕色的。 女士在镜前做什么？ 女士正在整理发型。
	狗狗出现攻击行为可能的原因？ 这只狗展示出低吼、龇牙等攻击行为可能源于多种因素：可能感受到环境中的威胁（如其他动物、噪音或陌生人），或是因主人指令产生的反应，亦或是身体不适引发的防御机制。需结合具体情境和肢体语言判断根本原因，并采取相应对策。 图中犬种是什么？ 图中为黑白相间的吉娃娃犬。