库名称: transformers
许可证: apache-2.0
数据集:

• ivrit-ai/crowd-transcribe-v5
• ivrit-ai/crowd-recital-whisper-training
• ivrit-ai/knesset-plenums-whisper-training
  语言:
• he
  评估指标:
• wer
  基础模型:
• openai/whisper-large-v3-turbo
  任务标签: 自动语音识别

模型卡片

本模型是基于OpenAI Whisper Large v3 Turbo模型针对希伯来语进行微调（持续训练）的版本。

模型详情

模型描述

• 开发者: ivrit-ai
• 支持语言 (NLP): 希伯来语
• 许可证: Apache-2.0
• 微调基础模型: openai/whisper-large-v3-turbo

偏差、风险与限制

该模型在训练过程中语言检测能力有所下降——主要用于希伯来语音频转录场景，需显式设置语言标记为希伯来语。

此外，翻译任务未经训练且功能退化，该模型不具备有效翻译能力。

快速开始

请参考原始模型卡片的使用说明（替换为本模型名称）。
其他权重格式和量化版本可在ivrit ai的HF页面获取。

我们在训练GitHub仓库的"examples"文件夹中提供了使用该模型的简单示例脚本及其他推理运行时方案。

训练详情

训练数据

本模型基于以下数据集训练：

• ivrit-ai/crowd-transcribe-v5 - 公开音频源的众包逐段转录数据，约300小时
• ivrit-ai/crowd-recital-whisper-training - 维基百科片段的众包录音，约50小时
• ivrit-ai/knesset-plenums-whisper-training - 以色列议会全体会议记录子集，约325小时

训练流程

本模型采用相同配置的两个独立训练中（约第2轮结束时）最低评估损失检查点的加权平均值。训练代码详见ivrit-ai的GitHub仓库。

预处理

"Crowd Recital"和"Knesset"数据集包含Whisper预期输入的时间戳和上文文本。这些数据集中40%的样本使用时间戳，50%使用上文文本。

"Crowd Transcribe"数据集不含时间戳和上文文本，预处理仅包括梅尔频谱特征提取和文本编码。预处理代码详见训练代码仓库。

数据集按0.15:0.8:0.05比例（knesset:crowd-transcribe:crowd-recital）交叉混合。

训练超参数

• 训练模式: bf16混合精度配合sdpa
• 学习率: 1e-5，线性衰减，800步热身，共3轮
• 批量大小: 32

训练硬件/时长

• GPU类型: 8卡Nvidia A40机器
• 训练时长: 约9小时（3轮后停止）

评估

请参考ivrit-ai/hebrew-transcription-leaderboard评估结果。