AIbase

M

Minilmv2 L6 H384 Distilled From RoBERTa Large

由 nreimers 开发
MiniLMv2 是微软推出的轻量级语言表示模型，通过知识蒸馏技术实现高效性能。
大型语言模型
Transformers
#轻量级语言模型#知识蒸馏优化#多任务学习
下载量 73
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

MiniLMv2 是一种基于 Transformer 的轻量级语言表示模型，通过知识蒸馏技术从大型预训练模型中提取知识，在保持较高性能的同时显著减小模型规模，适用于资源受限的环境。

模型特点

轻量高效
通过知识蒸馏技术大幅减小模型规模，同时保持较高性能。
知识蒸馏
从大型预训练模型中提取知识，实现模型压缩。
通用表示
适用于多种自然语言处理任务。

模型能力

文本表示
语义理解
句子嵌入

使用案例

自然语言处理
文本分类
使用 MiniLMv2 生成的文本表示进行分类任务。
语义相似度计算
利用模型生成的嵌入向量计算文本相似度。
移动端应用
轻量级 NLP 应用
在资源受限的设备上部署高效的语言理解功能。