AIbase

轻量级预训练
Mamba 1B
Apache-2.0
Mamba-1B是一个基于Mamba架构的1B参数规模的语言模型，支持英文文本生成任务。
大型语言模型
Transformers
英语
M
Q-bert
185
28
Tinymistral 248M GGUF
Apache-2.0
TinyMistral-248M 是一个基于 Mistral 7B 模型预训练的小型语言模型，参数规模缩减至约2.48亿，主要用于下游任务的微调。
大型语言模型
英语
T
afrideva
211
5
Tinymistral 248M
Apache-2.0
基于Mistral 7B模型缩减至2.48亿参数的语言模型，专为文本生成任务设计，适用于下游任务微调。
大型语言模型
Transformers
英语
T
Locutusque
1,127
46
T5 Finetune Cnndaily News
MIT
基于Transformer架构的轻量级预训练编码器-解码器模型，专用于中文新闻摘要生成任务。
文本生成
Transformers
英语
T
minhtoan
22
2
Bert Fc Small
一个小型BERT语言模型，采用首字符预测作为预训练目标
大型语言模型
Transformers
B
aajrami
14
0
Bert Ascii Small
一个小型BERT语言模型，通过预测被遮蔽标记中字符的ASCII码值之和作为预训练目标进行预训练。
大型语言模型
Transformers
B
aajrami
14
0
Chinese Roberta L 8 H 512
基于CLUECorpusSmall预训练的中文RoBERTa模型，参数规模为8层512隐藏单元，支持掩码语言建模任务。
大型语言模型
中文
C
uer
76
3
Chinese Roberta L 4 H 768
基于CLUECorpusSmall预训练的24个中文RoBERTa模型系列之一，采用UER-py框架训练，支持掩码语言建模和文本特征提取。
大型语言模型
中文
C
uer
17
0
Chinese Roberta L 2 H 512
基于CLUECorpusSmall预训练的中文RoBERTa模型，包含8层网络和512维隐藏层，适用于多种中文NLP任务。
大型语言模型
中文
C
uer
37
1
Bert L12 H256 A4
基于知识蒸馏技术预训练的轻量级BERT模型，隐藏层维度为256，配备4个注意力头，适用于掩码语言建模任务。
大型语言模型
Transformers
B
eli4s
17
0
Chinese Roberta L 12 H 768
基于RoBERTa架构的中文预训练语言模型，隐藏层维度512，包含8层Transformer结构
大型语言模型
中文
C
uer
419
13
Sew Tiny 100k
Apache-2.0
SEW-tiny是由ASAPP Research开发的压缩高效型语音预训练模型，基于16kHz采样的语音音频进行预训练，适用于多种下游语音任务。
语音识别
Transformers
支持多种语言
S
asapp
1,080
3
Chinese Roberta L 4 H 512
这是一个基于RoBERTa架构的中文预训练语言模型，参数规模为8层512隐藏单元，适用于多种中文自然语言处理任务。
大型语言模型
中文
C
uer
873
11
Chinese Legal Electra Small Generator
Apache-2.0
中文ELECTRA是哈工大-讯飞联合实验室基于谷歌ELECTRA模型发布的中文预训练模型，体积小且性能优越。
大型语言模型
Transformers
中文
C
hfl
14
4
Roberta Medium Word Chinese Cluecorpussmall
基于CLUECorpusSmall预训练的中文分词版RoBERTa中型模型，采用8层512隐藏层架构，相比字符版模型在多项任务中表现更优
大型语言模型
中文
R
uer
293
2
Chinese Roberta L 2 H 128
这是一个基于CLUECorpusSmall预训练的中文RoBERTa中型模型，具有8层网络和512维隐藏层，适用于多种中文自然语言处理任务。
大型语言模型
中文
C
uer
1,141
11
Chinese Roberta L 4 H 256
基于CLUECorpusSmall预训练的中文RoBERTa模型，参数规模为8层512隐藏层，适用于多种中文NLP任务。
大型语言模型
中文
C
uer
70
3
Chinese Roberta L 6 H 256
基于CLUECorpusSmall预训练的中文RoBERTa模型，参数规模为8层512隐藏单元
大型语言模型
中文
C
uer
58
1
Chinese Roberta L 6 H 768
基于CLUECorpusSmall预训练的中文RoBERTa中型模型，具有8层网络和512维隐藏层，适用于多种中文NLP任务。
大型语言模型
中文
C
uer
222
2
Bert Base Arabic Camelbert Msa Sixteenth
Apache-2.0
针对阿拉伯语NLP任务的预训练模型，在缩减规模(1/16)的现代标准阿拉伯语(MSA)数据集上训练
大型语言模型
阿拉伯语
B
CAMeL-Lab
215
4
Mengzi Oscar Base Caption
Apache-2.0
基于中文多模态预训练模型孟子-奥斯卡，在AIC-ICC中文图像描述数据集上微调而成的中文多模态图像描述模型
图像生成文本
Transformers
中文
M
Langboat
23
2