{prompt} [/INST] ' 量化者: chiennv

大型语言模型的挑战在于无法在本地笔记本电脑上运行。得益于llama.cpp项目，现在即使没有独立GPU，也能在单台计算机（Windows或Macbook）上运行我们的Vistral-7B-Chat模型。

Vistral-7B-Chat - GGUF

• 模型创建者: 越南 Mistral
• 原始模型: Vistral-7B-Chat

描述

本仓库包含Vistral-7B-Chat的GGUF格式模型文件。

关于GGUF

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代GGML。GGUF相比GGML具有诸多优势，如更好的分词和对特殊标记的支持。它还支持元数据，并设计为可扩展格式。

以下是已知支持GGUF的客户端和库：

• llama.cpp。GGUF的源项目，提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有丰富功能和强大扩展，支持GPU加速。
• LM Studio，一款易用且强大的本地GUI，适用于Windows和macOS（Silicon），支持GPU加速。
• ctransformers，一个Python库，支持GPU加速、LangChain集成和OpenAI兼容的AI服务器。

提示模板: Vistral-7B-Chat

<s>[INST] <<SYS>>
你是一位热情且诚实的越南语助手。请始终以最有帮助的方式回答，同时确保安全。
你的回答不应包含任何有害、种族歧视、性别歧视、有毒、危险或非法内容。确保你的回答没有社会偏见且积极正面。如果问题没有意义或信息不合理，请解释原因而非给出不准确的回答。若不知道答案，请如实告知并避免传播错误信息。
<</SYS>>

{prompt} [/INST]

也可使用本仓库中的聊天模板文件。

LM Studio使用指南

要在LM Studio上本地部署Vistral，请确保使用指定聊天模板（点击下载）。开始前务必上传聊天模板，如下图所示：

此步骤对Vistral在本地机器上的正常运行至关重要。

与LangChain集成

引用

@article{chien2023vistral,
  作者 = {Chien Van Nguyen, Thuat Nguyen, Quan Nguyen, Huy Huu Nguyen, Björn Plüster, Nam Pham, Huu Nguyen, Patrick Schramowski, Thien Huu Nguyen},
  标题 = {Vistral-7B-Chat - 迈向越南语最先进大语言模型},
  年份 = 2023,
}