inference: false language:

• pt license: apache-2.0 model_creator: 22H model_link: https://huggingface.co/22h/open-cabrita3b model_name: Open Cabrita 3B model_type: llama quantized_by: lucianosb pipeline_tag: text-generation

Open Cabrita 3B - GGUF

• 模型创建者: 22h
• 原始模型: Open Cabrita 3B
• 论文: CABRITA: CLOSING THE GAP FOR FOREIGN LANGUAGES

包含文件

注意: 上述内存值未考虑GPU卸载。若将层卸载至GPU，将减少内存占用并增加显存使用。

如何使用llama.cpp运行

参考以下命令，根据需求调整参数:

./main -m ./models/open-cabrita3b/opencabrita3b-q5_1.gguf --color --temp 0.5 -n 256 -p "### 指令: {命令} ### 回答: "

参数说明详见llama.cpp文档

免费体验Google Colab笔记本: Open_Cabrita_llamacpp_5_1.ipynb

关于GGUF格式

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代已停止支持的GGML格式。

GGUF的主要优势在于其可扩展性和前瞻性设计，能以元数据形式存储更多模型信息。同时显著改进了分词编码，首次完整支持特殊标记。这将提升模型性能，特别是对于使用新特殊标记和自定义提示模板的模型。

以下是已知支持GGUF的客户端和库列表:

• llama.cpp
• text-generation-webui，最流行的Web界面。通过ctransformers后端支持GGUF的GPU加速——llama-cpp-python后端也将很快支持
• KoboldCpp，1.41版起支持GGUF！功能强大的GGML网页界面，支持全GPU加速。特别适合故事创作
• LM Studio，0.2.2及以上版本支持GGUF。全功能本地GUI，支持Windows(NVidia/AMD)和macOS的GPU加速
• LoLLMS Web UI，现应选择c_transformers后端。功能丰富的网页界面，支持CUDA GPU加速
• ctransformers，0.2.24版起支持GGUF！支持GPU加速的Python库，兼容LangChain和OpenAI风格的AI服务器
• llama-cpp-python，0.1.79版起支持GGUF。支持GPU加速的Python库，兼容LangChain和OpenAI风格的API服务器
• candle，8月22日添加GGUF支持。专注性能的Rust ML框架，包含GPU支持和易用性设计
• LocalAI，8月23日添加GGUF支持。为LLM和图像生成模型提供REST API接口

提示模板

### 指令:
{prompt}

### 回答: