R

Roformer V2 Chinese Char Large

由 junnyu 开发
RoFormerV2是基于旋转位置编码的增强型Transformer模型,由追一科技开发,支持中文文本处理任务。
下载量 84
发布时间 : 3/21/2022

模型简介

RoFormerV2是一种改进的Transformer模型,采用旋转位置编码技术,适用于多种中文自然语言处理任务,如文本分类、问答和语言理解等。

模型特点

旋转位置编码
采用旋转位置编码技术,增强了模型对位置信息的捕捉能力。
多任务学习
支持多任务学习,提升了模型在多种任务上的表现。
改进的分类头
在原始代码基础上增加了2个dropout层、1个全连接层和ReLU激活函数,提升了分类性能。

模型能力

文本分类
问答
语言理解
文本生成

使用案例

自然语言处理
文本分类
在CLUE开发集分类任务中表现优异,如科大讯飞、腾讯新闻等数据集。
在多个数据集上优于BERT和RoBERTa等模型。
问答系统
适用于构建中文问答系统,能够理解并回答用户问题。
AIbase
智启未来,您的人工智能解决方案智库
简体中文