license: mit

【ICLR 2024 🔥】LanguageBind：通过基于语言的语义对齐将视频-语言预训练扩展至N模态

若喜欢我们的项目，请在GitHub上给我们一个星标⭐以获取最新动态。

📰 新闻

• [2024.01.27] 👀👀👀 我们的MoE-LLaVA发布！一个3B参数的稀疏模型性能超越了7B参数的密集模型。
• [2024.01.16] 🔥🔥🔥 我们的LanguageBind被ICLR 2024接收！我们获得了6(3)8(6)6(6)6(6)的评分此处。
• [2023.12.15] 💪💪💪 我们扩展了💥💥💥 VIDAL数据集，现在拥有1000万视频-文本数据。我们发布了LanguageBind_Video 1.5，查看我们的模型库。
• [2023.12.10] 我们扩展了💥💥💥 VIDAL数据集，现在拥有1000万深度和1000万热感数据。我们正在Hugging Face上传热感和深度数据，预计整个过程将持续1-2个月。
• [2023.11.27] 🔥🔥🔥 我们更新了论文并添加了紧急零样本结果，查看✨结果。
• [2023.11.26] 💥💥💥 我们开源了所有文本来源及对应的YouTube ID此处。
• [2023.11.26] 📣📣📣 我们开源了完全微调的视频与音频模型，性能再次提升，查看模型库。
• [2023.11.22] 我们即将发布完全微调版本，超大版本正在训练中。
• [2023.11.21] 💥 我们在DATASETS.md中发布了示例数据，以便感兴趣的人可以进一步修改代码在自己的数据上训练。
• [2023.11.20] �🚀🚀 Video-LLaVA基于LanguageBind编码器构建了大型视觉语言模型，实现了🎉SOTA性能。
• [2023.10.23] 🎶 LanguageBind-Audio在5个数据集上取得🎉🎉🎉最先进(SOTA)性能，查看✨结果！
• [2023.10.14] 😱 发布了更强的LanguageBind-Video，查看✨结果！视频检查点已在Huggingface模型中心更新！
• [2023.10.10] 我们提供了示例数据，可在assets中找到，并描述了紧急零样本使用。
• [2023.10.07] 检查点已在🤗 Huggingface模型上可用。
• [2023.10.04] 代码和演示现已开放！欢迎关注👀此仓库获取最新动态。

😮 亮点

💡 高性能，无需中间模态

LanguageBind是一种以语言为中心的多模态预训练方法，将语言作为不同模态间的纽带，因为语言模态已被充分探索且蕴含丰富语义。

• 下图展示了LanguageBind的架构。LanguageBind可轻松扩展至分割、检测任务，并可能覆盖无限模态。

⚡️ 多模态、全对齐、海量数据集

我们提出VIDAL-10M，包含1000万涵盖视频(V)、红外(I)、深度(D)、**音频(A)及其对应语言(L)**的数据，极大拓展了视觉模态之外的数据范围。

• 第二张图展示了我们提出的VIDAL-10M数据集，包含视频、红外、深度、音频和语言五类模态。

🔥 多视角强化的训练描述

我们对语言进行多视角增强。通过结合元数据、空间和时间信息生成多视角描述，大幅提升语言的语义信息。此外，我们还利用ChatGPT增强语言，为每种模态对齐的语言构建优质语义空间。