license: apache-2.0

太乙-vit-87M-D

• 主页：封神榜
• GitHub仓库：封神榜大模型

简介

基于COCO和Visual Genome数据集进行特殊预训练的英文版MAP（暂定名）视觉编码器，采用ViT-base架构。

模型分类

模型信息

本模型基于CLIP-ViT-base（16x16图像块，224x224分辨率），通过特殊训练任务注入多模态信息。后缀"D"代表采用新型预训练方法。我们在论文中针对多模态表征设计了多种训练目标，预训练数据来自MSCOCO和VG数据集。相关代码与训练细节将在论文发表后开源。

下游性能表现

测试环境配置： 学习率=2e-5
批次大小=128
训练轮次=5
权重衰减=0.01

使用方式

from transformers import ViTFeatureExtractor, ViTForImageClassification
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = ViTFeatureExtractor.from_pretrained('IDEA-CCNL/Taiyi-vit-87M-D')
model = ViTForImageClassification.from_pretrained('IDEA-CCNL/Taiyi-vit-87M-D')

inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# 模型预测ImageNet千分类结果
predicted_class_idx = logits.argmax(-1).item()
print("预测类别:", model.config.id2label[predicted_class_idx])
# 预测类别: 埃及猫

引用文献

若使用本模型，请引用我们的论文：

@article{fengshenbang,
  author    = {张嘉旭等23位作者},
  title     = {封神榜1.0：中文认知智能基石},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可引用项目主页：

@misc{Fengshenbang-LM,
  title={封神榜大模型},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}