许可证：MIT

【ICLR 2024 🔥】LanguageBind：通过基于语言的语义对齐将视频-语言预训练扩展至N模态

如果您喜欢我们的项目，请在GitHub上给我们一个星标 ⭐ 以获取最新更新。

📰 新闻

• [2024.01.27] 👀👀👀 我们的MoE-LLaVA发布了！一个拥有30亿参数的稀疏模型性能超过了70亿参数的密集模型。
• [2024.01.16] 🔥🔥🔥 我们的LanguageBind已被ICLR 2024接受！我们获得了6(3)8(6)6(6)6(6)的评分这里。
• [2023.12.15] 💪💪💪 我们扩展了💥💥💥 VIDAL数据集，现在拥有1000万视频-文本数据。我们推出了LanguageBind_Video 1.5，查看我们的模型库。
• [2023.12.10] 我们扩展了💥💥💥 VIDAL数据集，现在拥有1000万深度和1000万热感数据。我们正在Hugging Face上传热感和深度数据，预计整个过程将持续1-2个月。
• [2023.11.27] 🔥🔥🔥 我们更新了我们的论文并添加了紧急零样本结果，查看我们的✨ 结果。
• [2023.11.26] 💥💥💥 我们已经开源了所有文本来源及对应的YouTube ID这里。
• [2023.11.26] 📣📣📣 我们已经开源了完全微调的视频和音频，再次实现了性能提升，查看我们的模型库。
• [2023.11.22] 我们即将发布一个完全微调的版本，超大版本目前正在训练中。
• [2023.11.21] 💥 我们在DATASETS.md中发布了样本数据，以便感兴趣的人可以进一步修改代码在自己的数据上训练。
• [2023.11.20] 🚀🚀🚀 Video-LLaVA基于LanguageBind编码器构建了一个大型视觉语言模型，实现了🎉SOTA性能。
• [2023.10.23] 🎶 LanguageBind-Audio在5个数据集上实现了🎉🎉🎉最先进的(SOTA)性能，查看我们的✨ 结果！
• [2023.10.14] 😱 发布了更强的LanguageBind-Video，查看我们的✨ 结果！视频检查点已在Huggingface模型中心更新！
• [2023.10.10] 我们提供了样本数据，可以在assets中找到，并描述了紧急零样本使用。
• [2023.10.07] 检查点已在🤗 Huggingface模型上提供。
• [2023.10.04] 代码和演示现已可用！欢迎关注👀此仓库获取最新更新。

😮 亮点

💡 高性能，无需中间模态

LanguageBind是一种以语言为中心的多模态预训练方法，将语言作为不同模态之间的纽带，因为语言模态已被充分探索且包含丰富的语义。

• 下图第一张展示了LanguageBind的架构。LanguageBind可以轻松扩展到分割、检测任务，并可能扩展到无限模态。

⚡️ 多模态、完全对齐且庞大的数据集

我们提出了VIDAL-10M，包含1000万数据，涵盖视频(V)、红外(I)、深度(D)、音频(A)及其对应的语言(L)，极大地扩展了视觉模态之外的数据。

• 第二张图展示了我们提出的VIDAL-10M数据集，包含五种模态：视频、红外、深度、音频和语言。

🔥 多视角增强描述训练

我们对语言进行了多视角增强。我们生成结合元数据、空间和时间的多视角描述，极大地增强了语言的语义信息。此外，我们还使用ChatGPT进一步增强语言，为每种模态对齐的语言创建良好的语义空间。