许可协议：apache-2.0
支持语言：

• 德语
  库名称：transformers
  任务标签：自动语音识别

distil-whisper-german

本模型是基于distil-whisper技术的德语语音识别模型。
模型参数量为7.56亿，采用bfloat16格式时大小为1.51GB。

作为对Whisper large v3 german的后续改进，我们决定开发蒸馏版本，在几乎不损失质量的前提下实现更快的推理速度。

用途与限制

本模型专为德语语音识别任务设计，可作为本地转录服务或集成至更复杂的语音处理流程中。尽管参数量仅为原大模型的一半，其识别质量仍保持优异，适用于多数场景。配合tensorrt等优化工具包使用时，延迟足够低以满足实时应用需求。

训练数据

训练数据来自Common Voice数据集的过滤子集、多语言LibriSpeech及部分内部数据。所有数据均经过质量复核与文本规范化处理（包括大小写和标点符号的统一）。

模型系列

训练超参数

• 学习率：3e-05
• 总训练批大小：512
• 训练轮次：5.0

框架版本

• Transformers 4.39.3
• Pytorch 2.3.0a0+ebedce2
• Datasets 2.18.0
• Tokenizers 0.15.2

使用示例

import torch  
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline  
from datasets import load_dataset  

device = "cuda:0" if torch.cuda.is_available() else "cpu"  
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32  

model_id = "primeline/distil-whisper-large-v3-german"  
model = AutoModelForSpeechSeq2Seq.from_pretrained(  
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True  
)  
model.to(device)  

processor = AutoProcessor.from_pretrained(model_id)  
pipe = pipeline(  
    "automatic-speech-recognition",  
    model=model,  
    tokenizer=processor.tokenizer,  
    feature_extractor=processor.feature_extractor,  
    max_new_tokens=128,  
    chunk_length_s=30,  
    batch_size=16,  
    return_timestamps=True,  
    torch_dtype=torch_dtype,  
    device=device,  
)  

dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")  
sample = dataset[0]["audio"]  
result = pipe(sample)  
print(result["text"])  

关于我们

您的德国AI基础设施合作伙伴

体验为深度学习、机器学习及高性能计算量身打造的强大AI基础设施，专为AI训练与推理优化。

模型作者：Florian Zimmermeister

免责声明

本模型非primeLine集团产品，  
系由[Florian Zimmermeister](https://huggingface.co/flozi00)利用primeLine赞助的算力资源完成的研究成果。  
模型通过primeLine账户发布，但并非primeLine Solutions GmbH的商业产品。  

请注意，尽管我们已尽力测试和完善本模型，仍可能存在错误。  
使用本模型需自行承担风险，我们对模型输出的任何错误不承担法律责任。