数据集:

• EleutherAI/pile 语言:
• en 任务标签: 文本到文本生成 标签:
• t5x
• 编码器-解码器

Pile-T5 XXL是基于T5x库在The Pile数据集上训练的编码器-解码器模型。该模型采用类似原始T5模型的MLM目标，训练了200万步（约2万亿token）。Hugging Face版本的Pile-T5 XXL借鉴了UMT5的模型实现，因其使用了T5x的可扩展模型架构，并采用LlamaTokenizer。

模型详情

• 开发机构: EleutherAI
• 模型类型: 基于Transformer的语言模型
• 语言: 英语
• 了解更多: 博客文章。训练数据集详情参见The Pile论文及其数据表。
• 许可证: Apache 2.0
• 联系方式: 咨询模型问题请加入EleutherAI Discord的#release-discussion频道。提问前请先阅读现有GPT-NeoX-20B文档。常规联系请邮件contact@eleuther.ai。

用途与限制

预期用途

Pile-T5主要面向研究用途，其学习的英语内部表征可用于提取下游任务特征。除科研外，用户可根据Apache 2.0许可证对模型进行微调部署。该模型兼容Transformers库。若基于预训练模型微调，需自行进行风险与偏见评估。

非适用场景

Pile-T5不适合直接部署使用，非产品级模型，无人监督时不可用于人机交互。该模型未针对常见下游任务（如文体写作、商业聊天机器人）微调，其响应方式不同于ChatGPT等产品——后者通过RLHF等优化方法更好地理解人类指令。本模型仅支持英语，不可用于翻译或其他语言生成。

局限与偏见

Pile-T5核心功能是预测被掩码标记的文本序列，但统计最可能的序列未必最"准确"。切勿依赖其输出事实准确性。训练数据The Pile包含冒犯性内容（参见论文第6章关于性别、宗教、种族的讨论），即使提示无害也可能生成不当文本。建议人工审核输出，并向受众说明此为AI生成内容。

使用方法

通过AutoModelForSeq2SeqLM加载模型：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/pile-t5-xxl")
model = AutoModelForSeq2SeqLM.from_pretrained("EleutherAI/pile-t5-xxl")

训练

训练数据

The Pile是825GiB英语通用数据集，包含22类来源：学术文献（如arXiv）、互联网（如CommonCrawl）、散文（如古登堡计划）、对话（如YouTube字幕）及其他（如GitHub、安然邮件）。数据经去重处理，详见论文与数据表，可从官网或社区镜像下载。

训练过程

采用约100万token的批量大小（2048条512token序列），共训练200万步，使用span-corruption目标函数。

训练检查点

本仓库包含200个间隔1万步的中间检查点。T5x原生检查点参见此处。训练损失（tfevent格式）与验证困惑度（jsonl）见xxl.zip。

评估

Pile-T5 XXL在SuperGLUE、CodeXGLUE基准测试，其Flan微调版在Flan Held In、MMLU和BBH任务的表现详见博客。

BibTeX

@misc{2024PileT5,
  author  = {Lintang Sutawika and Aran Komatsuzaki and Colin Raffel},
  title   = {Pile-T5},
  year    = {2024},
  url     = {https://blog.eleuther.ai/pile-t5/},
  note    = {博客文章},
}