许可证: mit
语言:

• 英文
• 中文
  标签:
• 音频
• 音频语言模型
• 语音识别
• 音频理解
• 文本转语音
• 音频生成
• 对话
  库名称: kimi-audio

Kimi-Audio

🤗 Kimi-Audio-7B | 🤗 Kimi-Audio-7B-Instruct | 📑 技术报告

简介

我们推出Kimi-Audio，这是一款开源的音频基础模型，在音频理解、生成和对话方面表现卓越。本仓库托管了Kimi-Audio-7B的模型检查点。

Kimi-Audio设计为一个通用的音频基础模型，能够在单一统一框架内处理多种音频处理任务。主要特点包括：

• 通用能力： 支持多种任务，如语音识别（ASR）、音频问答（AQA）、音频描述（AAC）、语音情感识别（SER）、声音事件/场景分类（SEC/ASC）以及端到端语音对话。
• 顶尖性能： 在多项音频基准测试中取得SOTA结果（详见我们的技术报告）。
• 大规模预训练： 基于超过1300万小时的多样化音频数据（语音、音乐、声音）和文本数据进行预训练。
• 创新架构： 采用混合音频输入（连续声学+离散语义标记）和带有并行文本与音频标记生成头的LLM核心。
• 高效推理： 基于流匹配的分块流式解码器，实现低延迟音频生成。

更多详情，请参阅我们的GitHub仓库和技术报告。

注意事项

Kimi-Audio-7B是一个未经微调的基础模型，因此无法直接使用。
该基础模型非常灵活，您可以在任何可能的下游任务上对其进行微调。

如果您需要一个开箱即用的模型，请参考Kimi-Audio-7B-Instruct。

引用

如果您在研究或应用中发现Kimi-Audio有用，请引用我们的技术报告：

@misc{kimi_audio_2024,  
      title={Kimi-Audio技术报告},  
      author={Kimi团队},  
      year={2024},  
      eprint={arXiv:placeholder},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

许可证

该模型基于并修改自Qwen 2.5-7B。源自Qwen2.5-7B的代码遵循Apache 2.0许可证。代码的其他部分遵循MIT许可证。