pipeline_tag: 任意模态转换 license: 其他 license_name: 示例代码许可证 license_link: LICENSE library_name: ml-4m

4M：大规模多模态掩码建模框架

一个训练任意到任意多模态基础模型的框架。
可扩展。开源。覆盖数十种模态和任务。

官网 | GitHub | 引用格式

官方实现及预训练模型：

4M：大规模多模态掩码建模，NeurIPS 2023（焦点论文）
大卫·米兹拉希*，罗曼·巴赫曼*，奥古兹汉·法提赫·卡尔，特蕾莎·杨，高明飞，阿夫辛·德汉，阿米尔·扎米尔

4M-21：面向数十种任务与模态的通用视觉模型，arXiv 2024
罗曼·巴赫曼*，奥古兹汉·法提赫·卡尔*，大卫·米兹拉希*，阿里·加尔贾尼，高明飞，大卫·格里菲斯，胡佳明，阿夫辛·德汉，阿米尔·扎米尔

4M是通过标记化与掩码技术实现多模态扩展的"任意到任意"基础模型训练框架。基于4M训练的模型能执行广泛视觉任务，可迁移至未见过的任务与模态，并具备灵活可控的多模态生成能力。我们开源了"4M：大规模多模态掩码建模"（简称4M-7）和"4M-21：面向数十种任务与模态的通用视觉模型"（简称4M-21）的代码与模型。

安装指南

安装说明详见 https://github.com/apple/ml-4m。

使用说明

可通过Hugging Face Hub加载模型：

from fourm.models.fm import FM
fm = FM.from_pretrained('EPFL-VILAB/4M-21_B')

详细指引请参阅README_GENERATION.md，其他4M模型与标记器检查点请访问 https://github.com/apple/ml-4m。

引用

若本项目对您有帮助，请考虑引用：

@inproceedings{4m,
    title={{4M}: 大规模多模态掩码建模},
    author={大卫·米兹拉希 and 罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 特蕾莎·杨 and 高明飞 and 阿夫辛·德汉 and 阿米尔·扎米尔},
    booktitle={第三十七届神经信息处理系统会议},
    year={2023},
}

@article{4m21,
    title={{4M-21}: 面向数十种任务与模态的通用视觉模型},
    author={罗曼·巴赫曼 and 奥古兹汉·法提赫·卡尔 and 大卫·米兹拉希 and 阿里·加尔贾尼 and 高明飞 and 大卫·格里菲斯 and 胡佳明 and 阿夫辛·德汉 and 阿米尔·扎米尔},
    journal={arXiv 2024},
    year={2024},
}

许可协议

本仓库模型权重遵循LICENSE文件中的示例代码许可证。