标签:

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• GGUF格式
• 变换器模型
• PyTorch框架
• TensorBoard工具
• 安全张量格式
• Mistral模型
• 文本生成
• Axolotl工具
• 70亿参数
• 训练器生成
• 对话式
• 南非荷兰语
• 阿姆哈拉语
• 阿拉伯语
• 阿塞拜疆语
• 白俄罗斯语
• 孟加拉语
• 保加利亚语
• 加泰罗尼亚语
• 宿务语
• 捷克语
• 威尔士语
• 丹麦语
• 德语
• 希腊语
• 英语
• 世界语
• 爱沙尼亚语
• 巴斯克语
• 芬兰语
• 菲律宾语
• 法语
• 弗里斯兰语
• 苏格兰盖尔语
• 爱尔兰语
• 加利西亚语
• 古吉拉特语
• 海地克里奥尔语
• 豪萨语
• 希伯来语
• 印地语
• 匈牙利语
• 亚美尼亚语
• 伊博语
• 印尼语
• 冰岛语
• 意大利语
• 爪哇语
• 日语
• 卡纳达语
• 格鲁吉亚语
• 哈萨克语
• 高棉语
• 吉尔吉斯语
• 韩语
• 库尔德语
• 老挝语
• 拉脱维亚语
• 拉丁语
• 立陶宛语
• 卢森堡语
• 马拉雅拉姆语
• 马拉地语
• 马其顿语
• 马尔加什语
• 马耳他语
• 蒙古语
• 毛利语
• 马来语
• 缅甸语
• 尼泊尔语
• 荷兰语
• 挪威语
• 北索托语
• 齐切瓦语
• 奥里亚语
• 旁遮普语
• 波斯语
• 波兰语
• 葡萄牙语
• 普什图语
• 罗马尼亚语
• 俄语
• 僧伽罗语
• 斯洛伐克语
• 斯洛文尼亚语
• 萨摩亚语
• 绍纳语
• 信德语
• 索马里语
• 南索托语
• 西班牙语
• 阿尔巴尼亚语
• 塞尔维亚语
• 巽他语
• 斯瓦希里语
• 瑞典语
• 泰米尔语
• 泰卢固语
• 塔吉克语
• 泰语
• 土耳其语
• 契维语
• 乌克兰语
• 乌尔都语
• 乌兹别克语
• 越南语
• 科萨语
• 意第绪语
• 约鲁巴语
• 中文
• 祖鲁语
• 数据集:CohereForAI/aya_dataset
• 基础模型:mistralai/Mistral-7B-Instruct-v0.2
• 许可证:Apache-2.0
• 兼容自动训练
• 兼容终端
• 文本生成推理
• 区域:美国
• 文本生成

模型名称: Mistral-7B-Instruct-Aya-101-GGUF 基础模型: MaziyarPanahi/Mistral-7B-Instruct-Aya-101 推理: 不支持 模型创建者: MaziyarPanahi 流水线标签: 文本生成 量化者: MaziyarPanahi

MaziyarPanahi/Mistral-7B-Instruct-Aya-101-GGUF

• 模型创建者: MaziyarPanahi
• 原始模型: MaziyarPanahi/Mistral-7B-Instruct-Aya-101

模型描述

MaziyarPanahi/Mistral-7B-Instruct-Aya-101-GGUF 包含 MaziyarPanahi/Mistral-7B-Instruct-Aya-101 的GGUF格式模型文件。

使用方法

感谢 TheBloke 提供的详细GGUF模型使用指南：

关于GGUF

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代已停止支持的GGML格式。

以下是已知支持GGUF的部分客户端和库：

• llama.cpp - GGUF的源项目，提供CLI和服务器选项
• text-generation-webui - 最流行的Web UI，支持GPU加速
• KoboldCpp - 全功能Web UI，跨平台GPU加速
• GPT4All - 开源本地GUI，支持Windows/Linux/macOS
• LM Studio - 易用的本地GUI，支持Windows/macOS
• LoLLMS Web UI - 功能丰富的Web UI
• Faraday.dev - 基于角色的聊天GUI
• llama-cpp-python - Python库，支持GPU加速
• candle - Rust ML框架
• ctransformers - Python库（注意可能不兼容最新模型）

量化方法说明

如何下载GGUF文件

手动下载提示： 通常只需下载单个文件而非整个仓库。

以下客户端/库可自动下载模型：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

在text-generation-webui中下载

在下载模型处输入仓库名：MaziyarPanahi/Mistral-7B-Instruct-Aya-101-GGUF，然后指定文件名如：Mistral-7B-Instruct-Aya-101-GGUF.Q4_K_M.gguf，点击下载。

使用命令行批量下载

推荐安装huggingface-hub库：

pip3 install huggingface-hub

然后使用如下命令高速下载：

huggingface-cli download MaziyarPanahi/Mistral-7B-Instruct-Aya-101-GGUF Mistral-7B-Instruct-Aya-101-GGUF.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

示例llama.cpp命令

确保使用d0cee0d或更高版本的llama.cpp。

./main -ngl 35 -m Mistral-7B-Instruct-Aya-101-GGUF.Q4_K_M.gguf --color -c 32768 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant"

参数说明：

• -ngl 32：卸载到GPU的层数
• -c 32768：序列长度
• 聊天模式使用-i -ins替换-p

在Python中使用

推荐使用llama-cpp-python库。

安装

根据系统选择安装命令：

# 基础安装（无GPU加速）
pip install llama-cpp-python
# CUDA加速
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# OpenBLAS加速
CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python

示例代码

from llama_cpp import Llama

llm = Llama(
  model_path="./Mistral-7B-Instruct-Aya-101-GGUF.Q4_K_M.gguf",
  n_ctx=32768,
  n_threads=8,
  n_gpu_layers=35
)

output = llm(
  "<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant",
  max_tokens=512,
  stop=["</s>"],
  echo=True
)

与LangChain集成

参考指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers