基础模型：openai/whisper-tiny.en
库名称：transformers.js

Whisper

openai/whisper-tiny.en 的ONNX权重版本，兼容Transformers.js。

使用方式

示例： 英语语音转录。

// npm i @xenova/transformers  
import { pipeline } from '@xenova/transformers';  

let url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/jfk.wav';  

// 创建转录管道  
let transcriber = await pipeline('automatic-speech-recognition', 'Xenova/whisper-tiny.en');  
let output = await transcriber(url);  
// { text: "同胞们，不要问你们的国家能为你们做些什么，而要问你们能为国家做些什么。" }  

示例： 带时间戳的英语语音转录。

// npm i @xenova/transformers  
import { pipeline } from '@xenova/transformers';  

let url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/jfk.wav';  

// 创建转录管道  
let transcriber = await pipeline('automatic-speech-recognition', 'Xenova/whisper-tiny.en');  
let output = await transcriber(url, { return_timestamps: true });  
// {  
//   text: "同胞们，不要问你们的国家能为你们做些什么，而要问你们能为国家做些什么。"  
//   chunks: [  
//     { timestamp: [0, 8],  text: "同胞们，不要问你们的国家能为你们做些什么" }  
//     { timestamp: [8, 11], text: "而要问你们能为国家做些什么。" }  
//   ]  
// }  

示例： 带单词级时间戳的英语语音转录。

// npm i @xenova/transformers  
import { pipeline } from '@xenova/transformers';  

let url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/jfk.wav';  

// 创建转录管道  
let transcriber = await pipeline('automatic-speech-recognition', 'Xenova/whisper-tiny.en');  
let output = await transcriber(url, { return_timestamps: 'word' });  
// {  
//   "text": "同胞们，不要问你们的国家能为你们做些什么，而要问你们能为国家做些什么。",  
//   "chunks": [  
//     { "text": "同胞们", "timestamp": [0, 0.78] },  
//     { "text": "不要", "timestamp": [0.78, 1.06] },  
//     { "text": "问", "timestamp": [1.06, 1.46] },  
//     ...  
//     { "text": "国家", "timestamp": [9.92, 10.22] },  
//     { "text": "做些什么。", "timestamp": [10.22, 13.5] }  
//   ]  
// }  

注：为ONNX权重单独创建仓库是临时解决方案，直至WebML获得更广泛支持。若您希望使模型适配网页端，建议使用🤗 Optimum转换为ONNX格式，并参照本仓库结构（将ONNX权重存放在名为onnx的子文件夹中）。