库名称: transformers 数据集:

• reazon-research/reazonspeech
• joujiboi/japanese-anime-speech 语言:
• 日语
• 英语 评估指标:
• 字符错误率(CER) 任务标签: 自动语音识别

模型卡片

基于distil-whisper/distil-large-v2微调的语音识别模型。

本模型专为日语音频转写设计，特别针对视觉小说场景优化。

二次元模型合集

• 语音合成
• 对话系统
• 语音识别

集成演示

二次元助手

模型详情

模型描述

这是发布在Hugging Face Hub上的transformers模型卡片，内容为自动生成。

• 开发者: spow12(yw_nam)
• 发布者: spow12(yw_nam)
• 模型类型: 序列到序列
• 支持语言: 日语
• 基础模型: distil-whisper/distil-large-v2

使用方式

from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq
import librosa

processor = AutoProcessor.from_pretrained('spow12/Visual-novel-transcriptor', language="ja", task="transcribe")
model = AutoModelForSpeechSeq2Seq.from_pretrained('spow12/Visual-novel-transcriptor').cuda()
model.config.forced_decoder_ids = processor.get_decoder_prompt_ids(language="ja", task="transcribe")

data, _ = librosa.load(wav_path, sr=16000)
input_features = processor(data, sampling_rate=16000, return_tensors="pt").input_features.cuda()
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription[0])

局限性说明

本模型训练数据包含视觉小说内容，可能涉及NSFW(不适合工作场所)素材。

使用条款

当前仅限非商业用途。由于开发者不熟悉许可协议细节，请使用者自觉遵守道德规范。

通过共享本模型，希望能为开源社区及动漫爱好者群体的研究贡献力量。

引用格式

@misc {Visual-novel-transcriptor,
    author       = { 南永宇 },
    title        = { 视觉小说转录器 },
    year         = 2024,
    url          = { https://huggingface.co/spow12/Visual-novel-transcriptor },
    publisher    = { Hugging Face }
}