AIbase

视觉语言预训练
Sail Clip Hendrix 10epochs
基于openai/clip-vit-large-patch14微调的视觉语言模型，经过10个epoch的训练
文本生成图像
Transformers
S
cringgaard
49
0
Minivla Vq Bridge Prismatic
MIT
MiniVLA 是一个更小体积但性能更强的视觉语言动作模型，兼容 Prismatic VLMs 项目代码库。
图像生成文本
Transformers
英语
M
Stanford-ILIAD
22
0
Zcabnzh Bp
Bsd-3-clause
BLIP是一个统一的视觉语言预训练框架，擅长图像描述生成和视觉问答等任务，通过创新的数据过滤机制提升性能
图像生成文本
Transformers
Z
nanxiz
19
0
Biomedclip ViT Patch16 224
MIT
BiomedCLIP是微软开发的生物医学视觉语言处理模型，基于PubMedBERT和ViT架构，专为生物医学领域设计。
多模态融合
Transformers
B
ikim-uk-essen
1,296
3
Image Captioning With Blip
Bsd-3-clause
BLIP是一个统一的视觉语言预训练框架，擅长图像描述生成等任务，支持条件与非条件式文本生成
图像生成文本
Transformers
I
Vidensogende
16
0
Vilt Finetuned 200
Apache-2.0
基于ViLT架构的视觉语言模型，在特定任务上进行了微调
文本生成图像
Transformers
V
Atul8827
35
0
Llava V1.5 Mlp2x 336px Pretrain Vicuna 7b V1.5
LLaVA 是一个开源多模态聊天机器人，基于 LLaMA/Vicuna 进行微调，通过 GPT 生成的多模态指令跟随数据训练而成。
文本生成图像
Transformers
L
liuhaotian
173
17
OTTER MPT7B Init
MIT
OTTER-MPT7B-Init是一个用于初始化Otter模型训练的权重，由Openflamingo直接转换而来。
文本生成图像
Transformers
O
luodian
53
3
Blip Test
Bsd-3-clause
基于Salesforce/blip-image-captioning-base微调的图像描述生成模型
图像生成文本
Transformers
B
mooncakex
15
0
Pix2struct Large
Apache-2.0
Pix2Struct是一个图像编码器-文本解码器模型，通过图像-文本对训练，适用于多种视觉语言任务
图像生成文本
Transformers
支持多种语言
P
google
6,601
34