🚀 Unity 6推理引擎中的Whisper-Tiny模型

本项目是在Unity 6中借助推理引擎运行的Whisper Tiny模型。这是一个语音转文本模型，可将16kHz的WAV音频转录为文本。

🚀 快速开始

安装步骤

在Unity 6中使用该模型，你需要完成以下安装和设置步骤：

1. 在Unity 6中创建一个新场景；
2. 从包管理器中安装com.unity.ai.inference；
3. 从包管理器中安装com.unity.nuget.newtonsoft-json。

使用示例

基础用法

完成安装后，按以下步骤配置场景：

1. 将RunWhisper.cs脚本添加到主摄像机；
2. 将models文件夹中的decoder_model.onnx资产拖到Audio Decoder 1字段；
3. 将models文件夹中的decoder_with_past_model.onnx资产拖到Audio Decoder 2字段；
4. 将models文件夹中的encoder_model.onnx资产拖到Audio Encoder字段；
5. 将models文件夹中的logmel_spectrogram.onnx资产拖到Log Mel Spectro字段；
6. 将data文件夹中的vocab.json资产拖到Vocab Asset字段；
7. 将一个音频资产，例如data/answering-machine16kHz.wav，拖到Audio Clip字段。为获得最佳效果，请确保在导入资产时设置Normalize标志。

预览

进入播放模式。如果一切正常，转录的音频将记录到控制台。

🔧 技术细节

推理引擎

推理引擎是Unity的一个神经网络推理库。你可以点击此处了解更多信息。

📄 许可证

本项目采用Apache-2.0许可证。