许可证: cc-by-sa-4.0 支持语言:

• 英文
• 印地语 基础模型:
• 11mlabs/indri-0.1-124m-tts 任务标签: 文本转语音

Indri GGUF推理指南

原始模型及更多细节请参考此处。

本指南将帮助您在CPU上运行GGUF格式的Indri模型。

第一步：构建llama.cpp

要在本地运行推理，您需要构建llama.cpp项目。最新构建指南可查阅此处。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

cmake -B build
cmake --build build --config Release

第二步：下载模型

从HuggingFace下载GGUF格式模型并放入llama.cpp/models/目录。 模型文件可在此处获取。

模型放置完成后，在llama.cpp目录下运行llama-cpp服务：

# 对于F16模型（不同量化版本需相应调整）
./build/bin/llama-server -m /indri-0.1-124M-tts-F16.gguf --samplers 'top_k;temperature' --top_k 15

若本地运行llama-server遇到问题，请参考此文档。

第三步：运行推理脚本

克隆GitHub仓库：

git clone https://github.com/cmeraki/indri.git
cd indri

python -m src.tts_gguf --text '你好，我是Indri' --speaker '[spkr_63]' --out out.wav

可用说话人列表参见此处。

您也可以运行推理服务器：

pip install -r requirements.txt

# 安装ffmpeg（Mac/Windows用户参考：https://www.ffmpeg.org/download.html）
sudo apt update -y
sudo apt upgrade -y
sudo apt install ffmpeg -y

python -m server_ggpuf

访问http://localhost:8000/docs查看API文档并测试服务。

我们正在优化此流程，敬请期待更新！