库名称: transformers 数据集:

• Bingsu/zeroth-korean
• google/fleurs 语言:
• 韩语 评估指标:
• 字符错误率(cer)
• 单词错误率(wer)
• 双语评估替补分数(bleu) 基础模型:
• microsoft/Phi-4-multimodal-instruct 模型索引:
• 名称: Phi-4-multimodal-instruct-ko-asr 结果:
  • 任务: 类型: 自动语音识别 数据集: 类型: Bingsu/zeroth_korean 名称: zeroth-korean测试集 指标:
    • 类型: bleu 名称: zeroth测试集BLEU分数 值: 94.837
    • 类型: cer 名称: zeroth测试集字符错误率 值: 1.316
    • 类型: wer 名称: zeroth测试集单词错误率 值: 2.951
  • 任务: 类型: 自动语音识别 数据集: 类型: google/flerus 名称: fleurs韩语测试集 指标:
    • 类型: bleu 名称: fleurs测试集BLEU分数 值: 67.659
    • 类型: cer 名称: fleurs测试集字符错误率 值: 7.951
    • 类型: wer 名称: fleurs测试集单词错误率 值: 18.313 管道标签: 自动语音识别

该模型基于microsoft/Phi-4-multimodal-instruct在Bingsu/zeroth-korean和google/flerus数据集上进行了5轮微调。

该模型在H100上针对韩语语音识别任务进行了960步训练。

之后，我们继续使用CoVoST2数据集和CoVoST2韩语版进行自动语音翻译(AST)训练。

AST微调模型见此处：Phi-4-multimodal-instruct-ko-speech

评估结果

在以下数据集上进行了评估：

• 自动语音识别(ASR)：使用字符错误率(CER)在zeroth测试集(457个样本)上评估
• 自动语音翻译(AST)：使用BLEU分数在fleurs韩英语音翻译结果(270个样本)上评估

评估脚本来自此处。

与Phi-4-mm-inst-zeroth-kor和Phi-4-multimodal-finetune-ko-speech相比，ASR性能显著提升。