AIbase

高效注意力机制
Modernbert Base Squad2 V0.2
Apache-2.0
基于ModernBERT-base-nli微调的问答模型，支持长上下文处理
问答系统
Transformers
M
Praise2112
42
2
Tweety 7b Dutch V24a
Apache-2.0
Tweety-7b-dutch是一个专注于荷兰语的基础大语言模型，基于mistral架构，使用荷兰语分词器优化荷兰语文本处理能力。
大型语言模型
Transformers
其他
T
Tweeties
1,568
13
Mistral 7B Instruct V0.2 Sparsity 20 V0.1
Apache-2.0
Mistral-7B-Instruct-v0.2是基于Mistral-7B-Instruct-v0.1改进的指令微调大语言模型，采用Wanda剪枝方法压缩至2%稀疏度，无需重新训练即可保持竞争力性能。
大型语言模型
Transformers
M
wang7776
80
1
Mistral 7B Instruct V0.2 Sparsity 30 V0.1
Apache-2.0
Mistral-7B-Instruct-v0.2是基于Mistral-7B-Instruct-v0.1增强的指令微调大语言模型，采用Wanda剪枝方法实现30%稀疏化，无需重新训练即可保持竞争力性能。
大型语言模型
Transformers
M
wang7776
75
1
Nystromformer 4096
基于WikiText-103 v1数据集训练的长序列Nyströmformer模型，支持4096长度的序列处理
大型语言模型
Transformers
N
uw-madison
74
3
Nystromformer 2048
基于WikiText-103数据集训练的Nystromformer模型，支持长序列处理（2048 tokens）
大型语言模型
Transformers
N
uw-madison
38
1
Long T5 Tglobal Base
Apache-2.0
LongT5是基于T5架构的文本到文本转换模型，采用瞬态全局注意力机制高效处理长序列输入
大型语言模型
英语
L
google
71.38k
42
Bart Base Cnn R2 18.7 D23 Hybrid
Apache-2.0
这是一个经过剪枝优化的BART-base模型，专门针对CNN/DailyMail数据集进行微调，用于摘要生成任务。
文本生成
Transformers
英语
B
echarlaix
18
0
Deit Tiny Distilled Patch16 224
Apache-2.0
该模型为蒸馏版数据高效图像Transformer（DeiT），在ImageNet-1k上以224x224分辨率进行预训练和微调，通过蒸馏从教师模型高效学习。
图像分类
Transformers
D
facebook
6,016
6
Chinese Bigbird Mini 1024
Apache-2.0
这是一个基于BigBird架构的中文预训练模型，针对中文文本处理进行了优化，支持长文本序列处理。
大型语言模型
Transformers
中文
C
Lowin
14
1
Chinese Bigbird Base 4096
Apache-2.0
基于BigBird架构的中文预训练模型，支持4096长度的上下文处理
大型语言模型
Transformers
中文
C
Lowin
48
3