AIbase

B

Byt5 Small Historic English Span20

由 hmbyt5 开发
历史多语言与单语言ByT5基础模型，当前支持英语（大英图书馆语料库 - 书籍）。
大型语言模型
英语
开源协议:MIT#多语言文本处理#长跨度噪声预训练#书籍语料优化
下载量 18
发布时间 : 4/30/2023
模型介绍
内容详情
替代品

模型简介

hmByT5是基于ByT5架构的基础语言模型，主要用于文本处理任务，支持英语。

模型特点

多语言支持
模型设计为支持多语言处理，当前已涵盖英语。
优化的噪声片段长度
采用mean_noise_span_length=20进行预训练，相比默认值3，使预训练任务更具挑战性。
TPU训练
使用Google的TPU研究云（TRC）提供的v3-8 TPU进行预训练。

模型能力

文本生成
文本处理

使用案例

文本处理
英语文本处理
适用于处理英语文本，如大英图书馆语料库中的书籍内容。
在英语AjMC数据集上微调后，平均性能达到85.82 ± 0.79。