pipeline_tag: 任意到任意 license: 其他 license_name: 示例代码许可证 license_link: 许可证 library_name: ml-4m

4M：大规模多模态掩码建模

一个训练任意到任意多模态基础模型的框架。
可扩展。开源。涵盖数十种模态和任务。

官网 | GitHub | BibTeX

官方实现及预训练模型：

4M：大规模多模态掩码建模，NeurIPS 2023（焦点论文）
大卫·米兹拉希*、罗曼·巴赫曼*、奥古兹汉·法提赫·卡尔、特蕾莎·叶、高明飞、阿夫辛·德甘、阿米尔·扎米尔

4M-21：面向数十种任务和模态的任意到任意视觉模型，arXiv 2024
罗曼·巴赫曼*、奥古兹汉·法提赫·卡尔*、大卫·米兹拉希*、阿里·加尔贾尼、高明飞、大卫·格里菲斯、胡佳明、阿夫辛·德甘、阿米尔·扎米尔

4M是一个训练"任意到任意"基础模型的框架，通过标记化和掩码技术扩展到多种不同模态。使用4M训练的模型可以执行广泛的视觉任务，能够很好地迁移到未见过的任务和模态，并且是灵活可控的多模态生成模型。我们发布了"4M：大规模多模态掩码建模"（简称4M-7）以及"4M-21：面向数十种任务和模态的任意到任意视觉模型"（简称4M-21）的代码和模型。

安装

安装说明请见 https://github.com/apple/ml-4m。

使用

可以从Hugging Face Hub加载此模型：

from fourm.models.fm import FM
fm = FM.from_pretrained('EPFL-VILAB/4M-21_XL')

更多详细说明请参阅README_GENERATION.md，其他4M模型和标记器检查点请访问 https://github.com/apple/ml-4m。

引用

如果您觉得本仓库有帮助，请考虑引用我们的工作：

@inproceedings{4m,
    title={{4M}: 大规模多模态掩码建模},
    author={大卫·米兹拉希 and 罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 特蕾莎·叶 and 高明飞 and 阿夫辛·德甘 and 阿米尔·扎米尔},
    booktitle={第三十七届神经信息处理系统会议},
    year={2023},
}

@article{4m21,
    title={{4M-21}: 面向数十种任务和模态的任意到任意视觉模型},
    author={罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 大卫·米兹拉希 and 阿里·加尔贾尼 and 高明飞 and 大卫·格里菲斯 and 胡佳明 and 阿夫辛·德甘 and 阿米尔·扎米尔},
    journal={arXiv 2024},
    year={2024},
}

许可证

本仓库中的模型权重根据许可证文件中的示例代码许可证发布。