数据集:

• ILSVRC/imagenet-1k 库名称: transformers 许可证: cc-by-nc-4.0

I-JEPA模型（超大规格，基于IN1K微调）

I-JEPA是一种自监督学习方法。其核心思想是通过图像某部分的表征来预测同一图像其他部分的表征：

1. 不依赖预设的手工数据变换不变性（这类方法往往对特定下游任务存在偏见）
2. 无需模型填充像素级细节（这类方法通常学习到的语义表征不够显著）

工作原理

与配备像素解码器的生成式方法不同，I-JEPA采用潜在空间预测器。该预测器可视为一个基础（受限）的世界模型，能够通过部分可观测上下文对静态图像中的空间不确定性建模。这个世界模型的语义性体现在：它预测的是图像不可见区域的高级信息，而非像素级细节。

我们训练了随机解码器，将I-JEPA预测的表征以草图形式映射回像素空间。该模型能准确捕捉位置不确定性，并以正确姿态生成高级物体部件（如狗头、狼前腿）。

使用场景与限制

I-JEPA可用于图像分类或特征提取。本特定检查点专为特征提取设计。

使用方法

图像特征提取示例代码：

import requests
from PIL import Image
from torch.nn.functional import cosine_similarity

from transformers import AutoModel, AutoProcessor

url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"
image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)

model_id = "jmtzt/ijepa_vith16_1k"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModel.from_pretrained(model_id)


def infer(image):
    inputs = processor(image, return_tensors="pt")
    outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1)


embed_1 = infer(image_1)
embed_2 = infer(image_2)

similarity = cosine_similarity(embed_1, embed_2)
print(similarity)

引用文献

若使用I-JEPA或相关代码，请引用：

@article{assran2023self,
  title={基于图像的联合嵌入预测架构自监督学习},
  author={阿斯拉恩, 马哈茂德 and 杜瓦尔, 昆汀 and 米斯拉, 伊尚 and 博亚诺夫斯基, 彼得 and 文森特, 帕斯卡尔 and 拉巴特, 迈克尔 and 乐存, 扬 and 巴拉斯, 尼古拉斯},
  journal={arXiv预印本 arXiv:2301.08243},
  year={2023}
}