license: other license_name: glm-4 license_link: LICENSE language:

• zh
• en pipeline_tag: 图文生成文本 tags:
• glm
• edge inference: false

Glm-Edge-V-5B-GGUF模型

中文说明请点击此处

使用Ollama进行推理

安装指南

该模型的适配代码正在积极整合至官方llama.cpp仓库。您可通过以下定制版本进行测试：

git clone https://github.com/piDack/llama.cpp -b support_glm_edge_model
cmake -B build -DGGML_CUDA=ON # 或启用其他硬件加速选项
cmake --build build -- -j

推理运行

安装完成后，可通过以下命令启动GLM-Edge对话模型：

llama-cli -m <路径>/model.gguf -p "<|用户|>\n你好<|助手|>\n" -ngl 999

在命令行界面中，您可直接输入问题与模型交互，模型将返回相应答复。

许可协议

本模型权重的使用需遵守LICENSE文件所载条款。