首个针对3D医学影像数据的自监督学习全面基准研究模型

首个针对3D医学影像数据的自监督学习全面基准研究模型

ProphetNet是一种序列到序列学习预训练语言模型，采用未来n元预测的自监督目标，能够预测更多未来标记

voc2vec是专为非语言人类数据设计的基础模型，基于wav2vec 2.0框架构建，预训练数据集涵盖约125小时非语言音频。

面向广泛可扩展心脏应用的自监督基础模型，训练数据包含910万份12导联心电图，涵盖164种心血管疾病

LWM是首个无线通信领域的基础模型，作为通用特征提取器开发，能够从无线信道数据中提取精细表征。

大规模通用音频编码器，通过自监督学习训练，支持语音、音乐和环境音等多领域音频信息处理

BERTurk-Legal是一个基于Transformer架构的语言模型，专门用于土耳其法律领域的先前案例检索任务。

MoLFormer是基于ZINC和PubChem中11亿分子SMILES字符串预训练的化学语言模型，本版本使用两个数据集各10%样本训练

MERT是一种基于自监督学习的声学音乐理解模型，通过教师模型提供伪标签进行预训练。

VideoMAE是基于掩码自编码器(MAE)的视频自监督预训练模型，在Something-Something V2数据集上微调用于视频分类任务。

RegNetY-128GF特征提取模型，采用SEER方法在20亿张随机网络图片上进行自监督预训练

RegNetY-64GF特征/骨干模型，采用SEER方法在20亿张随机互联网图像上自监督预训练

RegNetY-32GF特征提取模型，采用SEER方法在20亿张随机网络图片上预训练，适用于图像分类和特征提取任务

ConvNeXt-V2自监督特征表示模型，采用全卷积掩码自编码器框架(FCMAE)预训练，适用于图像分类和特征提取任务。

基于ConvNeXt-V2的自监督特征表示模型，采用全卷积掩码自编码器框架（FCMAE）进行预训练，适用于图像分类和特征提取任务。

该视觉Transformer模型采用MSN方法预训练，在少样本场景下表现出色，适用于图像分类等任务

该视觉Transformer模型采用MSN方法预训练，在少样本场景下表现优异，适用于图像分类等任务

采用MSN方法预训练的视觉Transformer模型，在少样本场景下表现优异

该视觉Transformer模型采用MSN方法进行预训练，适用于少样本学习场景，特别适合图像分类任务。

VideoMAE是基于掩码自编码器(MAE)的视频自监督预训练模型，在Something-Something-v2数据集上进行了800轮预训练。

Swin Transformer v2是一种视觉Transformer模型，通过分层特征图和局部窗口自注意力机制实现高效的图像分类和密集识别任务。

Swin Transformer v2是一种视觉Transformer模型，通过分层特征图和局部窗口自注意力机制实现高效的图像分类和密集识别任务。

Swin Transformer v2是一种视觉Transformer模型，通过分层特征图和局部窗口自注意力机制实现高效的图像分类和密集识别任务。

Swin Transformer v2 是一种视觉Transformer模型，通过分层特征图和局部窗口自注意力机制实现高效的图像处理。

Swin Transformer v2是基于ImageNet-1k预训练的视觉Transformer模型，采用分层特征图和局部窗口自注意力机制，具有线性计算复杂度。

该模型是基于3千小时越南语语音数据预训练的Wav2Vec2基础模型，适用于越南语语音识别任务，需在下游任务上微调后使用。

基于ImageNet-1k训练的RegNet图像分类模型，采用自监督预训练和微调方法

基于imagenet-1k训练的RegNet模型，采用自监督方式在数十亿张随机网络图像上预训练后微调

基于IIT-CDIP预训练并在RVL-CDIP上微调的文档图像分类模型，采用Transformer架构

DiT是一种基于Transformer的文档图像分类模型，在IIT-CDIP数据集上预训练并在RVL-CDIP数据集上微调

WavLM是微软开发的大规模自监督预训练语音模型，基于16kHz采样的语音音频进行预训练，适用于全栈语音处理任务。

WavLM是由微软开发的大规模自监督预训练语音模型，基于16kHz采样的语音音频进行预训练，适用于多种语音处理任务。

BEiT是一种基于视觉Transformer(ViT)架构的图像分类模型，通过自监督学习在ImageNet-21k上预训练，并在ImageNet-1k上微调。

BEiT是一种基于视觉Transformer的图像分类模型，通过自监督方式在ImageNet-21k上预训练，并在ImageNet-1k上微调。

XLM-RoBERTa-XL 是一个在包含100种语言的2.5TB过滤CommonCrawl数据上预训练的多语言模型，基于RoBERTa架构的超大版本。

BEiT是一种基于图像变换器的视觉模型，采用类似BERT的自监督预训练方法，先在ImageNet-22k上预训练和微调，再在ImageNet-1k上微调。

XLM-Align是一个支持94种语言的预训练跨语言模型，通过自标注词对齐改进预训练跨语言模型。

CORe模型基于BioBERT架构，专门针对临床记录、疾病描述和医学文献进行了预训练，用于预测患者院内死亡风险。

BEiT是一种基于视觉Transformer的图像分类模型，通过自监督方式在ImageNet-21k上预训练，并在ImageNet-1k上微调。