license: apache-2.0

inference: false

pipeline_tag: zero-shot-image-classification

pipeline_tag: feature-extraction

inference:

parameters:

tags:

• 图文模型
• 中文
• 图文特征
• 特征提取

太乙-CLIP-罗伯特大型-3.26亿参数-中文版

• 主页：封神榜
• GitHub：封神榜大模型

简介

这是首个开源的中文CLIP模型，文本编码器采用RoBERTa-large架构，基于1.23亿图文对进行预训练。

模型分类

模型详情

我们严格遵循CLIP的实验框架来构建强大的图文表征系统。在开发中文CLIP过程中：

• 文本编码器采用中文RoBERTa-wwm-large
• 视觉编码器使用CLIP的ViT-L-14架构
• 为提升训练稳定性，冻结视觉编码器仅微调文本编码器
• 预训练数据包含悟空数据集（1亿）和Zero数据集（2300万）
• 训练流程：先在悟空数据集训练10轮，再混合训练12轮（A100×16显卡耗时7天）

这是Huggingface社区首个开源的中文CLIP实现。

性能表现

零样本分类

零样本图文检索

使用示例

from PIL import Image
import requests
import clip
import torch
from transformers import BertForSequenceClassification, BertConfig, BertTokenizer
from transformers import CLIPProcessor, CLIPModel
import numpy as np

# 示例文本查询
query_texts = ["一只猫", "一只狗", "两只猫", "两只老虎", "一只老虎"]  

# 初始化中文文本编码器
text_tokenizer = BertTokenizer.from_pretrained("IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese")
text_encoder = BertForSequenceClassification.from_pretrained("IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese").eval()
text = text_tokenizer(query_texts, return_tensors='pt', padding=True)['input_ids']

# 加载示例图片
url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
clip_model = CLIPModel.from_pretrained("openai/clip-vit-large-patch14")  
processor = CLIPProcessor.from_pretrained("openai/clip-vit-large-patch14")
image = processor(images=Image.open(requests.get(url, stream=True).raw), return_tensors="pt")

# 特征提取与相似度计算
with torch.no_grad():
    image_features = clip_model.get_image_features(**image)
    text_features = text_encoder(text).logits
    # 特征归一化
    image_features = image_features / image_features.norm(dim=1, keepdim=True)
    text_features = text_features / text_features.norm(dim=1, keepdim=True)
    # 计算相似度
    logit_scale = clip_model.logit_scale.exp()
    logits_per_image = logit_scale * image_features @ text_features.t()
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()
    print(np.around(probs, 3))

引用规范

若使用本模型，请引用我们的论文：

@article{fengshenbang,
  author    = {张嘉旭等},
  title     = {封神榜1.0：中文认知智能基础体系},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

或引用项目主页：

@misc{封神榜大模型,
  title={封神榜大模型},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}