Efficient Mlm M0.40 801010

E

Efficient Mlm M0.40 801010

由 princeton-nlp 开发

该模型研究了在掩码语言建模中遮蔽15%内容的有效性，采用了HuggingFace暂不支持的预层归一化技术。

大型语言模型

#预层归一化 #掩码语言建模 #RoBERTa变体

下载量 119

发布时间 : 4/22/2022

模型简介

该模型专注于掩码语言建模任务，探讨了遮蔽比例对模型性能的影响，并实现了预层归一化技术。

模型特点

预层归一化技术

采用了HuggingFace暂不支持的预层归一化技术，可能提升模型训练稳定性

遮蔽比例研究

专门研究掩码语言建模中15%遮蔽比例的有效性

模型能力

掩码语言建模

文本表示学习

使用案例

自然语言处理

预训练语言模型

可作为其他NLP任务的基础预训练模型

语言理解研究

用于研究不同遮蔽比例对语言理解的影响

精选推荐AI模型

Qwen2.5 VL 7B Abliterated Caption It I1 GGUF

Qwen2.5-VL-7B-Abliterated-Caption-it的量化版本，支持多语言图像描述任务。

图像生成文本

Transformers 支持多种语言

Nunchaku Flux.1 Dev Colossus

Colossus Project Flux 的 Nunchaku 量化版本，旨在根据文本提示生成高质量图像。该模型在优化推理效率的同时，将性能损失降至最低。

图像生成英语

Qwen2.5 VL 7B Abliterated Caption It GGUF

这是一个基于Qwen2.5-VL-7B模型的静态量化版本，专注于图像描述生成任务，支持多种语言。

图像生成文本

Transformers 支持多种语言

Olmocr 7B 0725 FP8

olmOCR-7B-0725-FP8是基于Qwen2.5-VL-7B-Instruct模型，使用olmOCR-mix-0225数据集微调后量化为FP8版本的文档OCR模型。

图像生成文本

Transformers 英语

Lucy-128k是基于Qwen3-1.7B开发的专注于代理式网络搜索和轻量级浏览的模型，在移动设备上也能高效运行。

大型语言模型

Transformers 英语

AIbase

智启未来，您的人工智能解决方案智库

© 2025AIbase 备案号：闽ICP备08105208号-24