license: apache-2.0 tags:

• 自动语音识别
• 音频
• 语音
• whisper
• 多语言 model-index:
• name: Jivi-AudioX-南方版 results:
  • task: name: 自动语音识别 type: 自动语音识别 dataset: name: Vistaar基准测试（泰米尔语） type: vistaar config: 泰米尔语 split: 测试集 metrics:
    • name: 词错误率(WER) type: wer value: 21.79
  • task: name: 自动语音识别 type: 自动语音识别 dataset: name: Vistaar基准测试（泰卢固语） type: vistaar config: 泰卢固语 split: 测试集 metrics:
    • name: 词错误率(WER) type: wer value: 24.63
  • task: name: 自动语音识别 type: 自动语音识别 dataset: name: Vistaar基准测试（卡纳达语） type: vistaar config: 卡纳达语 split: 测试集 metrics:
    • name: 词错误率(WER) type: wer value: 17.61
  • task: name: 自动语音识别 type: 自动语音识别 dataset: name: Vistaar基准测试（马拉雅拉姆语） type: vistaar config: 马拉雅拉姆语 split: 测试集 metrics:
    • name: 词错误率(WER) type: wer value: 26.92 pipeline_tag: 自动语音识别 language:
• 泰米尔语
• 泰卢固语
• 卡纳达语
• 马拉雅拉姆语

AudioX：多语言语音转文本模型

AudioX是由Jivi AI开发的最先进的印度多语言自动语音识别（ASR）模型系列。它包含两个专门变体——AudioX-北方版和AudioX-南方版——每个版本都针对不同的印度语言集进行了优化，以确保更高的准确性。AudioX-北方版支持印地语、古吉拉特语和马拉地语，而AudioX-南方版涵盖泰米尔语、泰卢固语、卡纳达语和马拉雅拉姆语。通过结合开源ASR数据集和专有音频进行训练，AudioX模型在口音和声学条件方面提供了强大的转录能力，在支持的语言中提供行业领先的性能。

专为印度语言打造：

AudioX旨在处理多样化的印度语言输入，支持语音助手、转录工具、客户服务自动化和多语言内容创作等实际应用。它在地区口音和不同音频质量下均提供高准确性。

训练过程：

AudioX在开源语音识别框架基础上使用监督学习进行微调。训练流程结合了领域适应、语言平衡和噪声增强，以确保在真实场景中的鲁棒性。

数据准备：

模型训练数据包括：

• 开源多语言ASR语料库
• 专有印度语言医疗数据集

这种混合方法提升了模型在方言和声学条件下的泛化能力。

基准测试：

AudioX在多种印度语言中表现优异，超越了开源和商业ASR模型。 我们使用AI4Bharat的Vistaar套件提供的官方评估脚本，在Vistaar基准测试上对AudioX进行了评估，确保在不同语言场景下进行严格、标准化的比较。

🔧 试用此模型

您可以使用🤗 transformers和librosa库轻松运行推理。以下是一个简单的入门示例：

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa

# 加载模型和处理器
device = "cuda"
processor = WhisperProcessor.from_pretrained("jiviai/audioX-south-v1")
model = WhisperForConditionalGeneration.from_pretrained("jiviai/audioX-south-v1").to(device)
model.config.forced_decoder_ids = None

# 加载并预处理音频
audio_path = "sample.wav"
audio_np, sr = librosa.load(audio_path, sr=None)
if sr != 16000:
    audio_np = librosa.resample(audio_np, orig_sr=sr, target_sr=16000)

input_features = processor(audio_np, sampling_rate=16000, return_tensors="pt").to(device).input_features

# 生成预测
# 使用ISO 639-1语言代码："hi"、"mr"、"gu"对应北方版；"ta"、"te"、"kn"、"ml"对应南方版
# 或省略language参数以启用自动语言检测
predicted_ids = model.generate(input_features, task="transcribe", language="ta")

# 解码预测结果
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)