语言:

• 阿拉伯语
• 白俄罗斯语
• 保加利亚语
• 孟加拉语
• 捷克语
• 威尔士语
• 丹麦语
• 德语
• 希腊语
• 英语
• 西班牙语
• 爱沙尼亚语
• 波斯语
• 芬兰语
• 法语
• 加利西亚语
• 印地语
• 匈牙利语
• 意大利语
• 日语
• 格鲁吉亚语
• 立陶宛语
• 拉脱维亚语
• 马其顿语
• 马拉地语
• 荷兰语
• 波兰语
• 葡萄牙语
• 罗马尼亚语
• 俄语
• 斯洛伐克语
• 斯洛文尼亚语
• 塞尔维亚语
• 瑞典语
• 斯瓦希里语
• 泰米尔语
• 泰语
• 土耳其语
• 乌克兰语
• 乌尔都语
• 越南语
• 中文 库名称: transformers.js 许可证: mit 评估指标:
• bleu 管道标签: 音频转文本 基础模型:
• fixie-ai/ultravox-v0_5-llama-3_2-1b

使用方法 (Transformers.js)

如果尚未安装，可以通过以下命令从NPM安装Transformers.js JavaScript库：

npm i @huggingface/transformers

然后可以像这样使用模型：

import { UltravoxProcessor, UltravoxModel, read_audio } from "@huggingface/transformers";

const processor = await UltravoxProcessor.from_pretrained(
  "onnx-community/ultravox-v0_5-llama-3_2-1b-ONNX",
);
const model = await UltravoxModel.from_pretrained(
  "onnx-community/ultravox-v0_5-llama-3_2-1b-ONNX",
  {
    dtype: {
      embed_tokens: "q8", // "fp32", "fp16", "q8"
      audio_encoder: "q4", // "fp32", "fp16", "q8", "q4", "q4f16"
      decoder_model_merged: "q4", // "q8", "q4", "q4f16"
    },
  },
);

const audio = await read_audio("http://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/mlk.wav", 16000);
const messages = [
  {
    role: "system",
    content: "You are a helpful assistant.",
  },
  { role: "user", content: "Transcribe this audio:<|audio|>" },
];
const text = processor.tokenizer.apply_chat_template(messages, {
  add_generation_prompt: true,
  tokenize: false,
});

const inputs = await processor(text, audio);
const generated_ids = await model.generate({
  ...inputs,
  max_new_tokens: 128,
});

const generated_texts = processor.batch_decode(
  generated_ids.slice(null, [inputs.input_ids.dims.at(-1), null]),
  { skip_special_tokens: true },
);
console.log(generated_texts[0]);
// "我可以为您转录音频。以下是转录内容：\n\n\"我有一个梦想，有一天这个国家将会站起来，真正实现其信条的真谛。\"\n\n- 马丁·路德·金\n\n您希望我以特定格式（例如逐字、逐字符或特定字体）提供转录内容吗？"