library_name: transformers tags: []

Cephalo-Gemma-3-4b

加载模型

import torch
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from transformers.image_utils import load_image
from PIL import Image as PILImage

ckpt = "lamm-mit/Cephalo-Gemma-3-4b-it-04-15-2025"
model = Gemma3ForConditionalGeneration.from_pretrained(
    ckpt, device_map="auto", torch_dtype=torch.bfloat16,
)
processor = AutoProcessor.from_pretrained(ckpt)

推理示例 #1

image=PILImage.open(f'./spiderweb.png').convert("RGB")
messages = [
    {
        "role": "system",
        "content": [
             {"type": "text", "text": "你是一名材料科学家。"}
        ],
        "role": "user",
        "content": [
             {"type": "image", "image": image},
             {"type": "text", "text": "这张图片展示了什么？请提供详细分析。"}
        ]
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]

generation = model.generate(**inputs, max_new_tokens=512, do_sample=False)
generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

输出:

图片展示了一个结构的三维模型与其物理3D打印实物的对比。

图像上半部分显示了一个结构的三维模型，这是一个具有多条相互连接的线条和角度的复杂几何设计。该模型很可能是使用计算机辅助设计（CAD）软件创建的，能够精确且详细地呈现结构。

图像下半部分展示了同一结构的物理3D打印版本。打印出的物体是CAD模型的有形体现，具有相同的几何设计和精细细节。打印物体被放置在一个可能是桌子或平台的表面上，并通过照明突出其三维形态。

三维模型与物理3D打印物体的对比展示了3D打印过程的精确性和保真度。打印物体与CAD模型高度相似，表明3D打印技术能够准确复现复杂的几何设计。

图片中展示的结果凸显了3D打印技术在创建复杂精细结构方面的潜力，具有高精度和准确性。这项技术在制造、工程和设计等领域有广泛应用，这些领域对创建精确且细致的物体至关重要。

推理示例 #2

另一个示例:

image=PILImage.open(f'./scan.jpg').convert("RGB")
messages = [
    {
        "role": "system",
        "content": [
             {"type": "text", "text": "你是一名生物学家。"}
        ],
        "role": "user",
        "content": [
             {"type": "image", "image": image},
             {"type": "text", "text": "提取材料的详细信息，包括类型、设计特点及用途。以JSON格式回复。"}
        ]
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]

generation = model.generate(**inputs, max_new_tokens=512, do_sample=False)
generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

输出:

以下是关于材料、类型、设计特点及用途的详细描述，以JSON格式呈现：

{
  "material": "蜘蛛丝",
  "type": "天然蛋白质纤维",
  "design_features": [
    "高抗拉强度和弹性",
    "轻质且柔韧",
    "自修复特性",
    "生物相容且可降解"
  ],
  "use_cases": [
    "医疗应用：缝合线、组织工程支架、药物递送系统",
    "航空航天：飞机和航天器的轻质复合材料",
    "防护装备：防弹背心、头盔和护甲",
    "工业应用：高性能绳索、电缆和网具",
    "环保应用：可降解包装和纺织品"
  ],
  "properties": {
    "tensile_strength": "最高1.5 GPa",
    "elastic_modulus": "1.5 GPa",
    "elongation_at_break": "最高1500%"
  },
  "source": "蜘蛛丝由蜘蛛产生，由蛛丝蛋白等蛋白质组成，这些蛋白质以层级结构排列形成丝纤维。"
}

**JSON字段说明:**

- **material**: 主要材料为蜘蛛丝。
- **type**: 材料类型为天然蛋白质纤维。
- **design_features**: 材料的关键特性，包括强度、弹性和自修复能力。
- **use_cases**: 蜘蛛丝的各种应用，涵盖医疗到工业领域。
- **properties**: 蜘蛛丝的物理特性，如抗拉强度、弹性模量和断裂伸长率。
- **source**: 简要说明蜘蛛丝的来源及其组成。

此JSON全面概述了蜘蛛丝，突出了其独特特性和潜在应用。

参考文献

@article{Buehler_Cephalo_2024_journal,
  title={Cephalo: 面向仿生材料分析与设计的跨模态视觉语言模型},
  author={Markus J. Buehler},
  journal={Advanced Functional Materials},
  year={2024},
  volume={34},
  issue={49},
  doi={2409531},
  url={https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/adfm.202409531}
}