数据集:

• EleutherAI/pile 语言:
• en 任务标签: 文本到文本生成 标签:
• t5x
• 编码器-解码器

Pile-T5基础版是基于T5x库在The Pile数据集上训练的编码器-解码器模型。该模型通过类似原始T5模型的MLM目标训练了200万步，约2万亿token。HuggingFace版本的Pile-T5基础版借鉴了UMT5的模型实现，因其采用T5x的可扩展模型架构并使用LlamaTokenizer。

模型详情

• 开发机构: EleutherAI
• 模型类型: 基于Transformer的语言模型
• 语言: 英语
• 了解更多: 博客文章。训练数据集详情参见The Pile论文及其数据表
• 许可证: Apache 2.0
• 联系方式: 咨询模型问题请加入EleutherAI Discord的#release-discussion频道。提问前请先阅读现有GPT-NeoX-20B文档。常规联系请邮件contact@eleuther.ai

使用与限制

预期用途

Pile-T5主要面向研究用途，其学习的英语内部表征可用于提取下游任务特征。除科研外，用户可根据Apache 2.0许可证对模型进行微调部署。该模型兼容Transformers库，若基于预训练模型微调，需自行进行风险与偏见评估。

非适用场景

Pile-T5不适合直接部署使用，非产品级模型，无人监督时不可用于人机交互。该模型未针对常见语言模型应用（如文体创作、商业聊天机器人）进行微调，其响应方式不同于ChatGPT等产品——后者通过RLHF等优化方法提升指令理解能力。本模型仅支持英语，不可用于翻译或多语言生成。

局限与偏见

Pile-T5核心功能是预测被掩码标记的文本序列，但统计最可能的输出未必事实准确。该模型训练数据The Pile包含不雅内容，论文第6章详述了性别、宗教、种族等方面的偏见。即使输入无冒犯性，模型仍可能生成不当内容。建议人工审核输出，并向受众声明此为AI生成文本。

使用方法

通过AutoModelForSeq2SeqLM加载模型：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/pile-t5-base")
model = AutoModelForSeq2SeqLM.from_pretrained("EleutherAI/pile-t5-base")

训练

训练数据

The Pile是825GB英语通用数据集，包含22类来源的文本：学术文献（如arXiv）、互联网内容（如CommonCrawl）、散文（如古登堡计划）、对话（如YouTube字幕）及其他（如GitHub、安然邮件）。数据经去重处理，详见论文与数据表，可从官网或社区镜像获取。

训练过程

采用100万token的批大小（2048条512token序列），共训练200万步，使用span-corruption目标函数。

训练检查点

本仓库包含200个间隔1万步的中间检查点。T5x原生检查点参见此处。训练损失（tfevent格式）与验证困惑度（jsonl）见base.zip。

评估

Pile-T5基础版在SuperGLUE、CodeXGLUE基准测试，其Flan微调版在Flan Held In任务上的表现详见博客。

引用

@misc{2024PileT5,
  author  = {Lintang Sutawika and Aran Komatsuzaki and Colin Raffel},
  title   = {Pile-T5},
  year    = {2024},
  url     = {https://blog.eleuther.ai/pile-t5/},
  note    = {博客文章},
}