库名称: transformers
许可证: apache-2.0
数据集:

• ivrit-ai/crowd-transcribe-v5
• ivrit-ai/crowd-recital-whisper-training
• ivrit-ai/knesset-plenums-whisper-training
  语言:
• he
  评估指标:
• wer
  基础模型:
• openai/whisper-large-v3

模型ID说明卡

本模型是基于OpenAI Whisper Large v3模型针对希伯来语进行的微调（持续训练）版本。

模型详情

模型描述

• 开发团队: ivrit-ai
• 支持语言（NLP）: 希伯来语
• 许可证: Apache-2.0
• 微调基础模型: openai/whisper-large-v3

偏差、风险与限制

该模型在训练过程中语言检测能力有所下降——主要用于希伯来语音频转录场景。
需显式设置语言参数为希伯来语。

此外，翻译任务未经训练且功能退化，该模型不具备有效翻译能力。

快速开始

请参照原始模型说明卡使用说明（替换为本模型名称）。
其他权重格式及量化版本可在ivrit ai的HF页面获取。

我们在训练GitHub仓库的"examples"文件夹中提供了使用该模型的简易示例脚本及其他推理运行时方案。

训练详情

训练数据

本模型基于以下数据集训练：

• ivrit-ai/crowd-transcribe-v5 - 公开音频源的众包分段转录数据（约300小时）
• ivrit-ai/crowd-recital-whisper-training - 维基百科片段众包录音（约50小时）
• ivrit-ai/knesset-plenums-whisper-training - 以色列议会全体会议记录子集（约325小时）

训练流程

本模型采用同一训练轮次中3个最低评估损失检查点的加权平均值。
训练代码详见ivrit-ai的GitHub仓库

数据预处理

"众包朗读"和"议会"数据集包含Whisper预期输入的时间戳和上文文本。
40%的样本使用时间戳，50%的样本使用上文文本。

"众包转录"数据集不含时间戳和上文文本，预处理仅包含梅尔谱特征提取和文本编码。

预处理代码详见训练代码仓库。

数据集按0.15:0.8:0.05比例（议会:众包转录:众包朗读）混合使用。

训练超参数

• 训练模式: bf16混合精度+SDPA
• 学习率: 1e-5，线性衰减，800步热身，共5个周期
• 批大小: 32

训练硬件/时长

• GPU类型: 8×Nvidia A40服务器
• 训练时长: 约10小时（2.2个周期时终止）

评估

请参阅ivrit-ai/hebrew-transcription-leaderboard评估结果