许可证: mit
数据集:

• numind/NuNER
  语言:
• en
  任务标签: 自动语音识别
  标签:
• asr
• 自动语音识别
• Whisper
• 命名实体识别

Whisper-NER

• 演示: https://huggingface.co/spaces/aiola/whisper-ner-v1
• 论文: WhisperNER: 统一开放的命名实体与语音识别
• 代码: https://github.com/aiola-lab/whisper-ner

我们推出了WhisperNER，这是一种新颖的模型，能够同时进行语音转录和实体识别。
WhisperNER支持开放类型的命名实体识别（NER），能够在推理时识别多样且不断变化的实体。

WhisperNER模型设计为一个强大的基础模型，适用于带有NER的自动语音识别（ASR）下游任务，并可以通过在特定数据集上进行微调以提升性能。

训练详情

aiola/whisper-ner-v1 是在NuNER数据集上训练的，用于同时执行音频转录和NER标记。
该模型仅在英语数据上进行了训练和评估。完整细节请参阅论文。

使用方法

可以使用以下代码进行推理（更多推理代码和细节请查看whisper-ner仓库）：

import torch  
from transformers import WhisperProcessor, WhisperForConditionalGeneration  

model_path = "aiola/whisper-ner-v1"  
audio_file_path = "path/to/audio/file"  
prompt = "person, company, location"  # 逗号分隔的实体标签  

# 从预训练模型加载模型和处理器  
processor = WhisperProcessor.from_pretrained(model_path)  
model = WhisperForConditionalGeneration.from_pretrained(model_path)  

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")  
model = model.to(device)  

# 加载音频文件：用户需自行加载音频文件  
target_sample_rate = 16000  
signal, sampling_rate = torchaudio.load(audio_file_path)  
resampler = torchaudio.transforms.Resample(sampling_rate, target_sample_rate)  
signal = resampler(signal)  
# 转换为单声道或根据需要移除第一维度  
if signal.ndim == 2:  
    signal = torch.mean(signal, dim=0)  
# 预处理以获取输入特征  
input_features = processor(  
    signal, sampling_rate=target_sample_rate, return_tensors="pt"  
).input_features  
input_features = input_features.to(device)  

prompt_ids = processor.get_prompt_ids(prompt.lower(), return_tensors="pt")  
prompt_ids = prompt_ids.to(device)  

# 通过顺序运行模型前向传播生成token id  
with torch.no_grad():  
    predicted_ids = model.generate(  
        input_features,  
        prompt_ids=prompt_ids,  
        generation_config=model.generation_config,  
        language="en",  
    )  

# 后处理token id为文本，移除提示  
transcription = processor.batch_decode(  
    predicted_ids, skip_special_tokens=True  
)[0]  
print(transcription)