许可协议：apache-2.0
支持语言：

• 意大利语
• 英语
  评估指标：
• 词错误率（wer）
  任务标签：自动语音识别
  标签：
• 音频
• 自动语音识别
• hf-asr排行榜
  库名称：transformers

模型描述

本模型是基于openai/whisper-small针对意大利语优化的版本，训练数据来自Litus AI的部分专有数据。
litus-ai/whisper-small-ita在性能与成本间实现了出色平衡，特别适用于计算资源有限但仍需高精度语音转写的场景。

模型特点

核心特色是通过特殊标记增强转写的元信息捕获能力：

• 副语言元素：[笑声]、[嗯哼]、[叹息]、[呃]
• 音频质量：[噪声]、[无法辨识]（听不清的内容）
• 语音特征：[自我修正]、[英语混用]（语码转换）

这些标记能生成包含非语言信息的丰富转录文本。

性能评估

下图对比了openai/whisper-small、openai/whisper-medium、litus-ai/whisper-small-ita及Litus AI专有模型litus-proprietary在意大利语会议和通话场景专有测试集上的准确率表现。

使用指南

可通过Hugging Face的自动语音识别管道调用本模型：

from transformers import WhisperProcessor, WhisperForConditionalGeneration  
from datasets import load_dataset  

# 加载模型组件  
model_id = "litus-ai/whisper-small-ita"  
processor = WhisperProcessor.from_pretrained(model_id)  
model = WhisperForConditionalGeneration.from_pretrained(model_id)  

# 加载意大利语测试数据  
ds = load_dataset("facebook/voxpopuli", "it", split="test")  
sample = ds[171]["audio"]  # 含"[无法辨识]"标记的样本  

# 提取特征  
input_features = processor(  
  sample["array"],  
  sampling_rate=sample["sampling_rate"],  
  return_tensors="pt",  
).input_features   

# 生成预测  
predicted_ids = model.generate(input_features)  

# 解码文本  
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)  
# 输出示例：["<|开始转录|><|意语|><|转录模式|><|无时间戳|> 我们处于最后一英里，不要浪费证明自主能力的机会[无法辨识]<|文本结束|>"]  

结语

如需了解模型架构、预训练数据细节及使用限制，请参阅原始论文、模型卡片及代码库。