T

T5 Efficient Xl

由 google 开发
T5高效XL是谷歌T5模型的深度窄型变体,专注于通过增加模型深度而非宽度来提升下游任务性能。
下载量 63
发布时间 : 3/2/2022

模型简介

这是一个仅预训练的检查点,采用深度窄型架构设计,旨在通过增加Transformer块数量来优化模型性能。

模型特点

深度窄型架构
优先增加模型深度而非宽度,相比同等参数量的其他架构对下游任务更有利
高效预训练
在C4数据集上进行了524288步的预训练,使用跨度的掩码语言建模目标
参数优化
全精度下约需11406.62 MB内存,半精度下约需5703.31 MB内存

模型能力

文本生成
文本摘要
问答系统
文本分类(需微调)

使用案例

文本处理
自动摘要生成
将长文档自动压缩为简洁摘要
问答系统
基于给定文本回答用户问题
内容生成
文本续写
根据提示生成连贯的后续文本
AIbase
智启未来,您的人工智能解决方案智库
简体中文