library_name: transformers
tags:

• EchoLLaMA
  license: apache-2.0
  datasets:
• AquaLabs/Spatial-DPO-Dataset
  language:
• en
  base_model:
• meta-llama/Llama-3.2-1B-Instruct
  pipeline_tag: text-generation

EchoLLaMA：基于多模态AI的3D场景语音合成系统

概述

EchoLLaMA是一个多模态AI系统，能够将3D视觉数据转化为自然语音描述，同时支持通过语音输入进行交互对话。本仓库包含基于LLaMA-3.2-1B-Instruct模型的实现，该模型通过直接偏好优化（DPO）微调，用于生成丰富的3D场景文本描述。

模型架构

EchoLLaMA流程整合了四个专用模型：

1. 图像分析：

   • DETR（DEtection TRansformer）用于目标检测
   • MiDaS用于单目深度估计
   • Moondream用于整体图像描述生成

2. 文本生成：

   • 经过DPO微调的LLaMA-3.2-1B-Instruct

3. 语音合成：

   • 基于Elise英语语音数据集微调的Orpheus-3B-0.1-ft TTS模型

4. 语音识别：

   • SpeechRecognition包用于转录用户语音输入

核心特性

• 3D目标检测矩阵：构建基于网格的检测对象空间坐标表示
• 深度感知场景理解：整合相对深度值以捕捉3D空间关系
• 自然语言生成：生成连贯且上下文丰富的描述
• 高质量语音合成：将文本描述转换为自然流畅的语音

训练细节

LLaMA模型

LLaMA-3.2-1B-Instruct模型的微调参数：

• 技术：基于LoRA的直接偏好优化（DPO）
• 数据集：来自COCO 2017的2000个样本，经DETR和Moondream处理
• 优选响应：由DeepSeek-V3-0324生成
• 拒绝响应：由微调前的LLaMA-3.2-1B-Instruct生成
• 训练参数：
  • LoRA秩：8
  • β（DPO）：0.1
  • 学习率：2×10⁻⁵（余弦衰减）
  • 批量大小：16（2×8梯度累积）
  • 序列长度：8192
• 硬件：2×T4 GPU
• 训练时间：1小时40分钟

Orpheus模型

Orpheus-3B-0.1-ft TTS模型的微调参数：

• 技术：低秩自适应（LoRA）
• 数据集：Elise英语语音数据集
• 训练参数：
  • LoRA秩（r）：64
  • LoRA Alpha（α）：64
  • LoRA Dropout：0
  • 学习率：2×10⁻⁴
• 硬件：2×T4 GPU
• 训练时间：47分钟

使用指南

安装

# 克隆仓库  
git clone https://github.com/The-Aqua-Labs/EchoLLaMA-Pipeline.git  
cd EchoLLaMA-Pipeline  

运行Jupyter Notebook文件即可。

流程说明

1. 使用DETR进行目标检测，MiDaS进行深度估计处理图像
2. Moondream生成描述图像内容的标题
3. 将目标检测矩阵和标题组合成提示词
4. LLaMA-3.2-1B-Instruct生成详细文本描述
5. Orpheus-3B-0.1-ft将文本转换为语音

数据集

训练数据集包含1999个样本，每个样本包含：

• 带有目标检测矩阵和标题的图像衍生提示
• DeepSeek-V3-0324生成的优选响应
• LLaMA-3.2-1B-Instruct生成的拒绝响应

数据集访问地址：AquaLabs/Spatial-DPO-Dataset

模型权重

• 微调版LLaMA-3.2-1B-Instruct：AquaLabs/EchoLLaMA-1B
• 微调版Orpheus-3B-0.1-ft：AquaLabs/Orpheus-3B-0.1-ft-Elise

贡献者

• Ahmet Erdem Pamuk - GitHub | Hugging Face
• Emir Kaan Özdemir - GitHub | Hugging Face
• Şuayp Talha Kocabay - GitHub | Hugging Face

许可协议

本项目采用Apache-2.0许可证。

详见论文。