license: mit

【ICLR 2024 🔥】LanguageBind：通过基于语言的语义对齐将视频-语言预训练扩展至N模态

若喜欢我们的项目，请给GitHub点个星标⭐获取最新动态。

📰 动态

• [2024.01.27] 👀👀👀 我们的MoE-LLaVA发布！3B参数的稀疏模型性能超越7B参数的稠密模型。
• [2024.01.16] 🔥🔥🔥 LanguageBind被ICLR 2024接收！获评6(3)8(6)6(6)6(6)分详情。
• [2023.12.15] 💪💪💪 VIDAL数据集扩展至💥💥💥 1000万视频-文本对，推出LanguageBind_Video 1.5版本，查看模型库。
• [2023.12.10] VIDAL数据集新增💥💥💥 1000万深度和1000万热成像数据，正在上传至Hugging Face，预计1-2个月完成。
• [2023.11.27] 🔥🔥🔥 论文紧急更新零样本实验结果，查看✨成果。
• [2023.11.26] 💥💥💥 开源全部文本来源及对应YouTube ID此处。
• [2023.11.26] 📣📣📣 开源全参数微调的视频&音频模型，性能再创新高，查看模型库。
• [2023.11.22] 即将发布全参数微调版本，超大版本正在训练中。
• [2023.11.21] 💥 发布示例数据于DATASETS.md，方便开发者基于自有数据训练。
• [2023.11.20] 🚀🚀🚀 Video-LLaVA基于LanguageBind编码器构建多模态大模型，实现🎉SOTA性能。
• [2023.10.23] 🎶 LanguageBind-Audio在5个数据集上取得🎉🎉🎉SOTA性能，查看✨成果！
• [2023.10.14] 😱 发布更强力的LanguageBind-Video，查看✨成果！视频模型已更新至Huggingface。
• [2023.10.10] 提供示例数据于assets目录，并说明紧急零样本用法。
• [2023.10.07] 模型权重已上线🤗Huggingface。
• [2023.10.04] 代码与演示发布！欢迎Watch👀项目获取更新。

😮 亮点

💡 高性能，无需中间模态

LanguageBind采用语言为中心的多模态预训练框架，以语言为纽带对齐各模态，因语言模态语义丰富且研究成熟。

• 首张架构图展示LanguageBind可轻松扩展至分割、检测等任务，理论上支持无限模态。

⚡️ 多模态全对齐海量数据集

发布VIDAL-10M数据集，包含1000万条视频(V)、红外(I)、深度(D)、**音频(A)及对应语言(L)**数据，极大超越视觉模态范畴。

• 次图展示VIDAL-10M的五种模态：视频、红外、深度、音频与语言。

🔥 多视角增强语言描述

通过融合元数据、空间和时序信息构建多视角描述，显著增强语言语义。另用ChatGPT进一步优化，为各模态语言对齐创造优质语义空间。