license: apache-2.0

inference: false

pipeline_tag: zero-shot-image-classification

pipeline_tag: feature-extraction

inference:

parameters:

tags:

• clip
• zh
• image-text
• feature-extraction

太乙-CLIP-RoBERTa-3.26亿参数-ViT-H-中文版

• 主页：封神榜
• GitHub：封神榜-LM

简介

首个开源的中文CLIP模型，基于1.23亿图文对进行预训练，文本编码器采用RoBERTa-large架构。

模型分类

模型信息

我们遵循CLIP的实验框架来构建强大的视觉-语言表征系统。在开发中文CLIP时，文本编码器选用chinese-roberta-wwm-large，视觉编码器采用open_clip中的ViT-H-14模型。为提升预训练效率与稳定性，我们冻结视觉编码器参数，仅微调语言编码器。训练数据整合了悟空数据集(1亿样本)和360Zero数据集(2300万样本)，在A100x32集群上进行了24轮训练（耗时8天）。这是Huggingface社区首个开源的中文CLIP实现。

下游任务表现

零样本图像分类

零样本文本-图像检索

使用示例

from PIL import Image
import requests
import open_clip
import torch
from transformers import BertModel, BertConfig, BertTokenizer
from transformers import CLIPProcessor, CLIPModel
import numpy as np

query_texts = ["一只猫", "一只狗",'两只猫', '两只老虎','一只老虎']  # 可替换任意查询文本
# 加载太乙中文文本编码器
text_tokenizer = BertTokenizer.from_pretrained("IDEA-CCNL/Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese")
text_encoder = BertModel.from_pretrained("IDEA-CCNL/Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese").eval()

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  # 可替换任意图片URL
# 加载openclip图像编码器
clip_model, _, processor = open_clip.create_model_and_transforms('ViT-H-14', pretrained='laion2b_s32b_b79k')
clip_model = clip_model.eval()

text = text_tokenizer(query_texts, return_tensors='pt', padding=True)['input_ids']
image = processor(Image.open(requests.get(url, stream=True).raw)).unsqueeze(0)
with torch.no_grad():
    image_features = clip_model.encode_image(image)
    text_features = text_encoder(text)[1]
    # 特征归一化
    image_features = image_features / image_features.norm(dim=1, keepdim=True)
    text_features = text_features / text_features.norm(dim=1, keepdim=True)
    # 计算余弦相似度（logit_scale为尺度系数）
    logit_scale = clip_model.logit_scale.exp()
    logits_per_image =  logit_scale * image_features @ text_features.t()
    logits_per_text = logits_per_image.t()
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()
    print(np.around(probs, 3))

引用文献

如果使用本模型，请引用我们的论文：

@article{fengshenbang,
  author    = {张嘉旭等},
  title     = {封神榜1.0：中文认知智能基础体系},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

或引用项目主页：

@misc{封神榜-LM,
  title={封神榜语言模型体系},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}