pipeline_tag: 任意到任意 license: 其他 license_name: 示例代码许可证 license_link: LICENSE library_name: ml-4m

4M：大规模多模态掩码建模

一个训练任意到任意多模态基础模型的框架。
可扩展。开源。覆盖数十种模态和任务。

官网 | GitHub | BibTeX

官方实现及预训练模型：

4M：大规模多模态掩码建模，NeurIPS 2023（亮点论文）
大卫·米兹拉希*、罗曼·巴赫曼*、奥古兹汉·法提赫·卡尔、特蕾莎·杨、高明飞、阿夫辛·德甘、阿米尔·扎米尔

4M-21：面向数十种任务与模态的任意到任意视觉模型，arXiv 2024
罗曼·巴赫曼*、奥古兹汉·法提赫·卡尔*、大卫·米兹拉希*、阿里·加尔贾尼、高明飞、大卫·格里菲斯、胡佳明、阿夫辛·德甘、阿米尔·扎米尔

4M是一个通过标记化与掩码技术扩展至多种模态的"任意到任意"基础模型训练框架。基于4M训练的模型能执行广泛视觉任务，可迁移至未见过的任务与模态，并具备灵活可控的多模态生成能力。我们开源了"4M：大规模多模态掩码建模"（简称4M-7）与"4M-21：面向数十种任务与模态的任意到任意视觉模型"（简称4M-21）的代码与模型。

安装

安装说明详见 https://github.com/apple/ml-4m。

使用指南

可通过Hugging Face Hub加载模型：

from fourm.models.fm import FM
fm = FM.from_pretrained('EPFL-VILAB/4M-21_L')

详细说明请参阅README_GENERATION.md，其他4M模型与标记器检查点请访问 https://github.com/apple/ml-4m。

引用

若本仓库对您的研究有所帮助，请考虑引用：

@inproceedings{4m,
    title={{4M}: 大规模多模态掩码建模},
    author={大卫·米兹拉希 and 罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 特蕾莎·杨 and 高明飞 and 阿夫辛·德甘 and 阿米尔·扎米尔},
    booktitle={第三十七届神经信息处理系统会议},
    year={2023},
}

@article{4m21,
    title={{4M-21}: 面向数十种任务与模态的任意到任意视觉模型},
    author={罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 大卫·米兹拉希 and 阿里·加尔贾尼 and 高明飞 and 大卫·格里菲斯 and 胡佳明 and 阿夫辛·德甘 and 阿米尔·扎米尔},
    journal={arXiv 2024},
    year={2024},
}

许可证

本仓库模型权重遵循LICENSE文件中的示例代码许可证。