🚀 Orpheus-3b-FT-Q4_K_M

Orpheus-3b-FT-Q4_K_M 是一个文本转语音（TTS）模型，它基于 Orpheus 模型进行量化处理，能将文本转换为自然流畅的语音，支持多种语音和情感表达，在保持高质量输出的同时，优化了推理效率，适合在消费级硬件上使用。

🚀 快速开始

下载模型

从 lex-au 的 Orpheus-FASTAPI 集合 下载此量化模型。

加载模型

将模型加载到你首选的推理服务器中并启动服务器。

克隆仓库

git clone https://github.com/Lex-au/Orpheus-FastAPI.git
cd Orpheus-FastAPI

配置服务器

通过设置 ORPHEUS_API_URL 环境变量，配置 FastAPI 服务器以连接到你的推理服务器。

完成安装和设置

遵循 仓库 README 中的完整安装和设置说明。

✨ 主要特性

• 多种语音选择：支持 8 种不同特性的语音，满足多样化需求。
• 情感标签支持：可通过插入 <laugh>、<sigh> 等标签为语音增添表现力。
• GPU 加速优化：针对 RTX GPU 的 CUDA 加速进行了优化。
• 高质量音频输出：生成 24kHz 的单声道高质量音频。
• 对话自然度微调：经过微调，语音更符合对话场景的自然度。

📦 安装指南

此量化模型可以加载到以下任何 LLM 推理服务器中：

• GPUStack - GPU 优化的 LLM 推理服务器（推荐），支持 LAN/WAN 张量拆分并行化。
• LM Studio - 加载 GGUF 模型并启动本地服务器。
• llama.cpp server - 使用适当的模型参数运行。
• 任何兼容的 OpenAI API 服务器。

💻 使用示例

基础用法

该模型设计用于与连接到 Orpheus-FastAPI 前端的 LLM 推理服务器配合使用，该前端提供 Web UI 和 OpenAI 兼容的 API 端点。

高级用法

可以通过插入情感标签为语音增添表现力，例如：

文本中插入 <laugh> 标签可在语音中添加笑声效果。

可用语音

模型支持 8 种不同的语音：

情感标签

可以通过插入以下标签为语音增添表现力：

• <laugh>、<chuckle>：用于笑声效果
• <sigh>：用于叹息效果
• <cough>、<sniffle>：用于细微的中断效果
• <groan>、<yawn>、<gasp>：用于额外的情感表达

音频示例

• 默认语音示例

• Leah（快乐）

• Tara（悲伤）

• Zac（沉思）

🔧 技术细节

📚 详细文档

局限性

• 目前仅支持英文文本。
• 在支持 CUDA 的 GPU 上可实现最佳性能。
• 生成速度取决于 GPU 性能。

📄 许可证

此模型采用 Apache 许可证 2.0。

引用与归属

原始的 Orpheus 模型由 Canopy Labs 创建。此仓库包含一个为与 Orpheus-FastAPI 服务器配合使用而优化的量化版本。

如果在你的研究或应用中使用此量化模型，请引用：

@misc{orpheus-tts-2025,
  author = {Canopy Labs},
  title = {Orpheus-3b-0.1-ft: Text-to-Speech Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/canopylabs/orpheus-3b-0.1-ft}}
}

@misc{orpheus-quantised-2025,
  author = {Lex-au},
  title = {Orpheus-3b-FT-Q4_K_M: Quantised TTS Model with FastAPI Server},
  note = {GGUF quantisation of canopylabs/orpheus-3b-0.1-ft},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/lex-au/Orpheus-3b-FT-Q4_K_M.gguf}}
}