多模态对齐
Cultureclip
基于CLIP-ViT-B/32微调的视觉语言模型,适用于图像-文本匹配任务
文本生成图像
Transformers
C
lukahh
20
0
Hermesflow
Apache-2.0
赫尔墨斯流是一个通用的多模态大语言模型对齐框架,能够自主生成同源偏好数据,并通过自我博弈迭代优化与配对DPO技术,无缝弥合多模态理解与生成的鸿沟。
图像生成文本
H
Gen-Verse
218
4
Resnet50x64 Clip Gap.openai
Apache-2.0
基于ResNet50架构的CLIP模型图像编码器,具有64倍宽度扩展,使用全局平均池化(GAP)策略
图像分类
Transformers
R
timm
107
0
Resnet50x16 Clip Gap.openai
Apache-2.0
基于CLIP框架的ResNet50x16变体模型,专注于图像特征提取
图像分类
Transformers
R
timm
129
0
Vit Huge Patch14 Clip 224.dfn5b
其他
基于CLIP架构的ViT-Huge图像编码器,由苹果公司发布的DFN5B-CLIP模型,适用于视觉特征提取任务。
图像分类
Transformers
V
timm
128
0
Vit So400m Patch14 Siglip 224.webli
Apache-2.0
基于SigLIP的视觉Transformer模型,仅包含图像编码器部分,采用原始注意力池化机制
图像分类
Transformers
V
timm
123
1
AA Chameleon 7b Plus
这是一个强大的文本-图像交错输入输出模型,通过对齐万物算法进行了深度对齐,提升了图像生成能力和人类偏好对齐能力。
文本生成图像
Transformers
英语
A
PKU-Alignment
34
5
Hpt Base
HPT是一种将不同实体对齐到共享潜在空间的变换器模型,专注于策略学习中的扩展行为研究。
多模态对齐
Transformers
H
liruiw
70
10
Owlvit Tiny Non Contiguous Weight
MIT
OWL-ViT 是一个基于视觉Transformer的开放词汇目标检测模型,能够检测图像中未在训练集中出现的类别。
文本生成图像
Transformers
O
fxmarty
337
0
Languagebind Video Huge V1.5 FT
MIT
LanguageBind 是一种通过语言实现多模态语义对齐的预训练模型,能够将视频、音频、深度、热成像等多种模态与语言进行绑定,实现跨模态的理解和检索。
多模态对齐
Transformers
L
LanguageBind
2,711
4
Languagebind Audio FT
MIT
LanguageBind是一种以语言为中心的多模态预训练方法,通过语言作为不同模态间的纽带实现语义对齐。
多模态对齐
Transformers
L
LanguageBind
12.59k
1
Languagebind Video FT
MIT
LanguageBind是一种以语言为中心的多模态预训练方法,通过语言作为不同模态之间的纽带,实现视频、红外、深度、音频等多种模态的语义对齐。
多模态对齐
Transformers
L
LanguageBind
22.97k
4
Languagebind Video Merge
MIT
LanguageBind是一种通过基于语言的语义对齐将视频-语言预训练扩展至N模态的多模态模型,获得了ICLR 2024的接收。
多模态对齐
Transformers
L
LanguageBind
10.96k
4
Languagebind Image
MIT
LanguageBind是一种以语言为中心的多模态预训练方法,通过语言作为不同模态之间的纽带,实现语义对齐。
多模态对齐
Transformers
L
LanguageBind
25.71k
11
Languagebind Depth
MIT
LanguageBind是一种以语言为中心的多模态预训练方法,通过语言作为不同模态之间的纽带,实现视频、红外、深度、音频等多种模态的语义对齐。
多模态对齐
Transformers
L
LanguageBind
898
0
Languagebind Video
MIT
LanguageBind是一种通过语言语义对齐将视频-语言预训练扩展至N模态的多模态预训练框架,被ICLR 2024收录。
多模态对齐
Transformers
L
LanguageBind
166
2
Languagebind Audio
MIT
LanguageBind 是一种以语言为中心的多模态预训练方法,通过语言语义对齐将视频-语言预训练扩展至N模态,实现了高性能的多模态理解与对齐。
多模态对齐
Transformers
L
LanguageBind
271
3
Languagebind Thermal
MIT
LanguageBind是一个通过语言作为纽带实现多模态语义对齐的预训练框架,支持视频、红外、深度、音频等多种模态与语言的联合学习。
多模态对齐
Transformers
L
LanguageBind
887
1
Tinysapbert From TinyPubMedBERT V1.0
TinySapBERT是一个基于SapBERT框架训练的微型生物医学实体表示模型,专为生物医学命名实体识别任务设计。
大型语言模型
Transformers
T
dmis-lab
16.93k
0
Distilbert Base Turkish Cased Clip
基于dbmdz/distilbert-base-turkish-cased微调的土耳其语文本编码器,用于与CLIP的ViT-B/32图像编码器配合使用
文本生成图像
Transformers
D
mys
2,354
1