license: mit pipeline_tag: image-feature-extraction

MLCD-ViT-bigG 模型卡片

[!TIP] LLaVA-NeXT 和 transformers 现已支持 MLCD-ViT-bigG-14-448px。

MLCD-ViT-bigG 是一款采用二维旋转位置编码（RoPE2D）增强的先进视觉Transformer模型，在文档理解和视觉问答任务中表现卓越。该模型由深度求索AI开发，在处理复杂视觉-语言交互任务时展现出非凡能力。

我们采用官方 LLaVA-NeXT 框架和官方训练数据集 LLaVA-NeXT-Data 来评估基础视觉模型性能。语言模型选用的是Qwen2.5-7B。

安装指南

pip install torch transformers
git clone https://github.com/deepglint/unicom
cd unicom/mlcd

使用示例

from vit_rope2d_hf import MLCDVisionModel
from transformers import CLIPImageProcessor
from PIL import Image
import requests
import torch

# 加载模型和处理器
model = MLCDVisionModel.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")
processor = CLIPImageProcessor.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")

# 处理单张图像
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt")

# 获取视觉特征
with torch.no_grad():
    outputs = model(**inputs)
features = outputs.last_hidden_state

print(f"提取特征维度: {features.shape}")

引用文献

@inproceedings{anxiang_2024_mlcd,
  title={多标签聚类判别式视觉表征学习},
  author={安翔 and 杨凯成 and 戴祥子 and 冯子勇 and 邓健康},
  booktitle={欧洲计算机视觉会议},
  year={2024}
}