library_name: transformers tags: []

Cephalo-Gemma-3-4b

该检查点相较于lamm-mit/Cephalo-Gemma-3-4b-it-04-15-2025，在生物材料和蜘蛛丝数据集上进行了更深入的精调。

加载模型并进行推理

import torch
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from transformers.image_utils import load_image
from PIL import Image as PILImage

ckpt = "lamm-mit/Cephalo-Gemma-3-4b-it-04-16-2025"
model = Gemma3ForConditionalGeneration.from_pretrained(
    ckpt, device_map="auto", torch_dtype=torch.bfloat16,
)
processor = AutoProcessor.from_pretrained(ckpt)

image=PILImage.open(f'./spiderweb.png').convert("RGB")
messages = [
    {
        "role": "system",
        "content": [
             {"type": "text", "text": "你是一位材料科学家。"}
        ],
        "role": "user",
        "content": [
             {"type": "image", "image": image},
             {"type": "text", "text": "这张图片展示了什么？请提供详细分析。"}
        ]
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]

generation = model.generate(**inputs, max_new_tokens=512, do_sample=False)
generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

结果:

图片展示了一个在红色灯光照射下、玻璃封闭立方体中的蜘蛛网，这是一种由蛛丝构成的结构。蜘蛛网是蜘蛛自然行为的结果，呈现出复杂的三维图案。这个3D打印的立方体是蜘蛛结网的环境。红色灯光和玻璃罩用于突出蜘蛛网和立方体，灯光和玻璃材质展示了蜘蛛网的结构。

蜘蛛网是一种天然且精巧的设计，而立方体则是人工3D打印的结构。这张图片是自然与人工的结合，红色灯光和玻璃罩以新颖有趣的方式展现了蜘蛛网和立方体。

这张图片提醒我们自然界的美丽与复杂性，以及人工世界的可能性。蜘蛛网是天然且精巧的设计，立方体是人工3D打印的结构。图片将自然与人工相结合，通过红色灯光和玻璃罩以独特的方式呈现了蜘蛛网和立方体。

参考文献

@article{Buehler_Cephalo_2024_journal,
  title={Cephalo：面向仿生材料分析与设计的跨模态视觉语言模型},
  author={Markus J. Buehler},
  journal={先进功能材料},
  year={2024},
  volume={34},
  issue={49},
  doi={2409531},
  url={https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/adfm.202409531}
}