框架:

• Pytorch 许可证: 其他 许可证名称: glm-4 许可证链接: LICENSE 管道标签: 文本生成 标签:
  • glm
  • edge 推理: 否

GLM-Edge-1.5B-Chat

中文阅读，请点击这里

使用Transformers进行推理

安装

从源代码安装transformers库:

pip install git+https://github.com/huggingface/transformers.git

推理

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/glm-edge-1.5b-chat"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

message = [{"role": "user", "content": "你好！"}]

inputs = tokenizer.apply_chat_template(
    message,
    return_tensors="pt",
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

generate_kwargs = {
    "input_ids": inputs["input_ids"],
    "attention_mask": inputs["attention_mask"],
    "max_new_tokens": 128,
    "do_sample": False,
}
out = model.generate(**generate_kwargs)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

许可证

该模型权重的使用需遵守LICENSE中规定的条款。