语言: 多语言
数据集:

• mc4

许可证: apache-2.0

ByT5 - 基础版

ByT5是谷歌T5的无分词器版本，整体架构遵循MT5。

ByT5仅在mC4数据集上进行了预训练，未包含任何监督学习任务，平均掩码长度为20个UTF-8字符。因此，该模型需在下游任务上微调后方可使用。

ByT5在噪声文本数据上表现尤为出色，例如在TweetQA任务中，google/byt5-base显著优于mt5-base。

论文: ByT5：迈向基于字节到字节预训练模型的无分词未来
作者: Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel

推理示例

ByT5直接处理原始UTF-8字节，无需分词器即可使用：

from transformers import T5ForConditionalGeneration  
import torch  

model = T5ForConditionalGeneration.from_pretrained('google/byt5-base')  

input_ids = torch.tensor([list("生活就像一盒巧克力。".encode("utf-8"))]) + 3  # 添加3以匹配特殊标记  
labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + 3  

loss = model(input_ids, labels=labels).loss  # 前向计算  

批处理推理和训练时建议使用分词器进行填充：

from transformers import T5ForConditionalGeneration, AutoTokenizer  

model = T5ForConditionalGeneration.from_pretrained('google/byt5-base')  
tokenizer = AutoTokenizer.from_pretrained('google/byt5-base')  

model_inputs = tokenizer(["生活就像一盒巧克力。", "今天是星期一。"], padding="longest", return_tensors="pt")  
labels = tokenizer(["La vie est comme une boîte de chocolat.", "Aujourd'hui c'est lundi."], padding="longest", return_tensors="pt").input_ids  

loss = model(**model_inputs, labels=labels).loss  # 前向计算  

摘要

主流预训练语言模型通常处理基于词或子词单元的分词序列。将文本编码为分词序列需依赖独立于模型的分词器。而直接操作原始文本（字节或字符）的无分词模型具有多重优势：可即时处理任意语言文本、对噪声更鲁棒，且通过消除复杂易错的文本预处理流程降低了技术债务。由于字节或字符序列比分词序列更长，过去的研究常需设计新架构来分摊处理原始文本的成本。本文证明，标准Transformer架构只需微小调整即可处理字节序列。我们详细分析了参数量、训练浮点运算和推理速度的权衡，表明字节级模型与分词级模型性能相当。实验还显示，字节级模型对噪声的鲁棒性显著更强，在拼写和发音敏感任务中表现更优。作为贡献的一部分，我们发布了基于T5架构的新预训练字节级Transformer模型集，以及实验所用全部代码与数据。