pipeline_tag: 任意模态转换 license: 其他 license_name: 示例代码许可证 license_link: LICENSE library_name: ml-4m

4M：大规模多模态掩码建模

一个训练任意到任意多模态基础模型的框架。
可扩展。开源。覆盖数十种模态和任务。

官网 | GitHub | BibTeX

官方实现及预训练模型：

4M：大规模多模态掩码建模，NeurIPS 2023（焦点论文）
大卫·米兹拉希*，罗曼·巴赫曼*，奥古兹汉·法提赫·卡尔，特蕾莎·杨，高明飞，阿夫辛·德甘，阿米尔·扎米尔

4M-21：面向数十种任务与模态的任意到任意视觉模型，arXiv 2024
罗曼·巴赫曼*，奥古兹汉·法提赫·卡尔*，大卫·米兹拉希*，阿里·加尔贾尼，高明飞，大卫·格里菲斯，胡佳明，阿夫辛·德甘，阿米尔·扎米尔

4M是一个训练"任意到任意"基础模型的框架，通过标记化和掩码技术扩展到多种不同模态。使用4M训练的模型能够执行广泛的视觉任务，良好迁移到未见过的任务和模态，并且是灵活可控的多模态生成模型。我们发布了"4M：大规模多模态掩码建模"（简称4M-7）以及"4M-21：面向数十种任务与模态的任意到任意视觉模型"（简称4M-21）的代码和模型。

安装

安装说明请参见 https://github.com/apple/ml-4m。

使用

可以从Hugging Face Hub加载此模型：

from fourm.models.fm import FM
fm = FM.from_pretrained('EPFL-VILAB/4M-7_B_CC12M')

更详细的说明请参见 https://github.com/apple/ml-4m/blob/main/README_GENERATION.md，其他4M模型和标记器检查点请访问 https://github.com/apple/ml-4m。

引用

如果您觉得此仓库有帮助，请考虑引用我们的工作：

@inproceedings{4m,
    title={{4M}: 大规模多模态掩码建模},
    author={大卫·米兹拉希 and 罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 特蕾莎·杨 and 高明飞 and 阿夫辛·德甘 and 阿米尔·扎米尔},
    booktitle={第三十七届神经信息处理系统会议},
    year={2023},
}

@article{4m21,
    title={{4M-21}: 面向数十种任务与模态的任意到任意视觉模型},
    author={罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 大卫·米兹拉希 and 阿里·加尔贾尼 and 高明飞 and 大卫·格里菲斯 and 胡佳明 and 阿夫辛·德甘 and 阿米尔·扎米尔},
    journal={arXiv 2024},
    year={2024},
}

许可证

本仓库中的模型权重按照LICENSE文件中的示例代码许可证发布。