数据集：

• IlyaGusev/saiga_scored 语言：
• 俄语（ru） 推理：不支持 任务标签：文本生成 许可证：其他 许可证名称：llama3 许可证链接：https://llama.meta.com/llama3/license/

这是原始8B模型的Llama.cpp兼容版本。

下载其中一个版本，例如model-q4_K.gguf：

wget https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/resolve/main/model-q4_K.gguf

下载interact_llama3_llamacpp.py：

wget https://raw.githubusercontent.com/IlyaGusev/rulm/master/self_instruct/src/interact_llama3_llamacpp.py

运行方法：

pip install llama-cpp-python fire

python3 interact_llama3_llamacpp.py model-q4_K.gguf

系统要求：

• q8_0版本需要10GB内存，更低量化版本需求更少