框架:

• Pytorch 许可证: 其他 许可证名称: glm-4 许可证链接: LICENSE 任务类型: 图像文本到文本 标签:
  • glm
  • edge 推理: 不支持

GLM-Edge-V-2B

中文说明请点击此处

使用Transformers进行推理

安装

从源代码安装transformers库:

pip install git+https://github.com/huggingface/transformers.git

推理示例

import torch
from PIL import Image
from transformers import (
    AutoTokenizer,
    AutoImageProcessor,
    AutoModelForCausalLM,
)

url = "img.png"
messages = [{"role": "用户", "content": [{"type": "图像"}, {"type": "文本", "text": "描述这张图片"}]}]
image = Image.open(url)

模型目录 = "THUDM/glm-edge-v-5b"

图像处理器 = AutoImageProcessor.from_pretrained(模型目录, trust_remote_code=True)
分词器 = AutoTokenizer.from_pretrained(模型目录, trust_remote_code=True)
模型 = AutoModelForCausalLM.from_pretrained(
    模型目录,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

输入数据 = 分词器.apply_chat_template(
    messages, add_generation_prompt=True, return_dict=True, tokenize=True, return_tensors="pt"
).to(next(模型.parameters()).device)

生成参数 = {
    **输入数据,
    "像素值": torch.tensor(图像处理器(image).pixel_values).to(next(模型.parameters()).device),
}
输出 = 模型.generate(**生成参数, max_new_tokens=100)
print(分词器.decode(输出[0][len(输入数据["input_ids"][0]):], skip_special_tokens=True))

许可证

本模型权重的使用需遵守LICENSE文件中规定的条款。