俄耳甫斯-3b-FT-Q4_K_M 量化版模型

这是canopylabs/orpheus-3b-0.1-ft的量化版本。

俄耳甫斯是一款高性能文本转语音模型，经过微调可实现自然、富有情感的语音合成。本仓库托管了30亿参数模型的8位量化版本，在保持高质量输出的同时优化了运行效率。

模型描述

俄耳甫斯-3b-FT-Q4_K_M是一个30亿参数的文本转语音模型，可将文本输入转换为自然语音，支持多种音色和情感表达。该模型已量化为8位(Q4_K_M)格式以提高推理效率，使其可在消费级硬件上运行。

核心特性：

• 8种独具特色的可选音色
• 支持笑声、叹息等情感标签
• 针对RTX显卡的CUDA加速优化
• 生成24kHz单声道高质量音频
• 针对对话自然度进行微调

使用方法

本模型需配合俄耳甫斯-FastAPI前端使用，该前端提供网页界面和OpenAI兼容API端点。

兼容推理服务器

该量化模型可加载至以下LLM推理服务器：

• GPUStack - GPU优化LLM推理服务器(推荐) - 支持局域网/广域网张量并行
• LM Studio - 加载GGUF模型并启动本地服务器
• llama.cpp服务器 - 使用适当参数运行
• 任何兼容OpenAI API的服务器

快速开始

1. 从lex-au的俄耳甫斯-FASTAPI合集下载量化模型

2. 在选择的推理服务器中加载模型并启动服务

3. 克隆俄耳甫斯-FastAPI仓库：

git clone https://github.com/Lex-au/Orpheus-FastAPI.git
cd Orpheus-FastAPI

4. 通过设置ORPHEUS_API_URL环境变量配置FastAPI服务器连接推理服务

5. 按照仓库README完成安装配置

音频示例

体验不同音色与情感的表达效果：

默认音色示例

莉娅(欢快)

塔拉(忧伤)

扎克(沉思)

可选音色

模型支持8种不同音色：

• 塔拉：女声，对话式，清晰
• 莉娅：女声，温暖，柔和
• 杰西：女声，活力，青春
• 里奥：男声，权威，低沉
• 丹：男声，友好，随意
• 米娅：女声，专业，清晰
• 扎克：男声，热情，生动
• 佐伊：女声，平静，舒缓

情感标签

通过插入标签增强语音表现力：

• <笑>、<轻笑>：添加笑声
• <叹息>：叹息声效
• <咳嗽>、<抽泣>：细微中断音效
• <呻吟>、<哈欠>、<喘息>：附加情感表达

技术规格

• 架构：专用token到音频序列模型
• 参数：约30亿
• 量化：8位(GGUF Q4_K_M格式)
• 音频采样率：24kHz
• 输入：文本(可选音色和情感标签)
• 输出：高质量WAV音频
• 语言：英语
• 硬件要求：支持CUDA的GPU(推荐RTX系列)
• 集成方式：外部LLM推理服务器+俄耳甫斯-FastAPI前端

使用限制

• 目前仅支持英文文本
• 在CUDA兼容GPU上性能最佳
• 生成速度取决于GPU性能

许可协议

本模型采用Apache 2.0许可证。

引用与归属

原始俄耳甫斯模型由Canopy Labs创建。本仓库包含专为俄耳甫斯-FastAPI服务器优化的量化版本。

如在研究或应用中使用此量化模型，请引用：

@misc{orpheus-tts-2025,
  author = {Canopy Labs},
  title = {Orpheus-3b-0.1-ft: 文本转语音模型},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/canopylabs/orpheus-3b-0.1-ft}}
}

@misc{orpheus-quantised-2025,
  author = {Lex-au},
  title = {俄耳甫斯-3b-FT-Q4_K_M: 带FastAPI服务器的量化TTS模型},
  note = {canopylabs/orpheus-3b-0.1-ft的GGUF量化版本},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/lex-au/Orpheus-3b-FT-Q4_K_M.gguf}}
}