数据集:

• homebrewltd/Ichigo-tokenized-v0.1 语言:
• 英语
• 越南语 许可证: apache-2.0 标签:
• 语音语言模型
• 音频文本转文本
• torchtune
• whisperspeech

无言(Speechless)

无言是一个紧凑的开源文本到语义模型（10亿参数），旨在直接将音频转换为离散的语义标记，无需依赖传统的文本转语音（TTS）模型。与依赖生成和处理音频的传统流程（TTS→ASR）不同，无言通过直接将文本转换为语义语音标记来消除这种复杂性，简化训练过程，节省资源，并实现可扩展性，尤其适用于资源匮乏的语言。

该模型基于超过400小时的英语和1000小时的越南语数据训练，是Ichigo v0.5系列的核心组件。

更多详情，请参阅我们的官方博客文章。

模型概述

开发团队: Homebrew Research

模型架构: Llama

模型类型: 文本到语义

支持语言: 英语和越南语

许可证: Apache 2.0

资源

博客: 博客文章

使用目的

主要用途
本模型主要用于研究目的。当前版本专注于将音频直接转换为离散的语义标记，无需依赖文本转语音（TTS）模型。

非适用场景
严禁以任何违反适用法律法规的方式使用Ichigo Whisper模型。

快速开始

您可以使用以下示例代码加载模型：

import torch
from transformers import pipeline

model_id = "homebrewltd/Speechless-llama3.2-v0.1"

pipe = pipeline(
    "text-generation", 
    model=model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

pipe("<|reserved_special_token_69|>我是无言——由Homebrew Research开发的模型")

>>> [{'generated_text': '<|reserved_special_token_69|>我是无言——由Homebrew Research开发的模型.assistant\n\n<|sound_1968|><|sound_0464|><|sound_0642|><|duration_02|><|sound_0634|><|sound_0105|><|duration_02|><|sound_1745|><|duration_02|><|sound_1345|><|sound_0210|><|sound_1312|><|sound_1312|>'}]

训练规格

评估结果

1. 越南语

2. 英语

引用信息

BibTeX格式:

@article{无言 2024,
  title={无言},
  author={Homebrew Research},
  year=2024,
  month=12月},
  url={https://huggingface.co/homebrewltd/Speechless-llama3.2-v0.1}

致谢

• WhisperSpeech

• Llama3.2