数据集:

• homebrewltd/Ichigo-tokenized-v0.1 语言:
• 英文
• 越南文 许可证: apache-2.0 标签:
• 语音语言模型
• 音频文本转文本
• torchtune
• whisperspeech

Speechless（无言）

Speechless是一款紧凑的开源文本转语义模型（10亿参数），旨在直接将音频转换为离散的语义表征标记，无需依赖传统的文本转语音（TTS）模型。与依赖生成和处理音频的传统流程（TTS→ASR）不同，Speechless通过直接将文本转换为语义语音标记，简化了训练流程，节省了资源，并实现了可扩展性，尤其适用于资源匮乏的语言。

该模型基于超过400小时的英文和1000小时的越南语数据训练，是Ichigo v0.5系列的核心组件。

更多详情，请参阅我们的官方博客文章。

模型概述

开发团队: Homebrew Research。

模型架构: Llama

模型类型: 文本转语义

支持语言: 英文和越南文

许可证: Apache 2.0

资源

博客: 博客文章

使用场景

主要用途
本模型主要用于研究目的。当前版本专注于将音频直接转换为离散的语义表征标记，无需依赖文本转语音（TTS）模型。

非适用场景
严禁以任何违反适用法律法规的方式使用Ichigo Whisper模型。

快速开始

您可以使用以下示例代码加载模型：

import torch
from transformers import pipeline

model_id = "homebrewltd/Speechless-llama3.2-v0.1"

pipe = pipeline(
    "text-generation", 
    model=model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

pipe("<|reserved_special_token_69|>I’m Speechless – A Model Developed by Homebrew Research")

>>> [{'generated_text': '<|reserved_special_token_69|>I’m Speechless – A Model Developed by Homebrew Research.assistant\n\n<|sound_1968|><|sound_0464|><|sound_0642|><|duration_02|><|sound_0634|><|sound_0105|><|duration_02|><|sound_1745|><|duration_02|><|sound_1345|><|sound_0210|><|sound_1312|><|sound_1312|>'}]

训练规格

评估结果

1. 越南文

2. 英文

引用信息

BibTeX格式:

@article{Speechless 2024,
  title={Speechless},
  author={Homebrew Research},
  year=2024,
  month=December},
  url={https://huggingface.co/homebrewltd/Speechless-llama3.2-v0.1}

致谢

• WhisperSpeech

• Llama3.2