控制模型（CTRL）

目录

1. 模型详情
2. 用途
3. 偏见、风险与限制
4. 训练过程
5. 评估
6. 环境影响
7. 技术规格
8. 引用
9. 模型卡作者
10. 快速开始

模型详情

模型描述

CTRL模型由Salesforce研究团队在论文《CTRL：用于可控生成的条件Transformer语言模型》中提出。这是一个基于因果（单向）Transformer架构的预训练语言模型，其训练数据包含约140GB文本，并采用首个标记作为控制代码（如链接、书籍、维基百科等）。开发者发布的模型卡详见此处。

• 开发团队：Salesforce Research（详见论文）
• 模型类型：基于Transformer的语言模型
• 支持语言：主要英语，部分德语、西班牙语、法语
• 许可证：BSD 3-Clause
• 资源链接：
  • 论文
  • GitHub仓库
  • 技术博客

用途

直接使用

本模型适用于文本生成任务。

扩展应用

开发者建议的主要用途包括：

1. 人机协作的创意写作
2. 自动化重复性写作任务
3. 特定文本格式生成
4. 上下文相关的营销材料创作
5. 通过微调增强其他NLP应用

非适用场景

禁止用于以下用途：

• 无人监督的文本生成
• 制定规范性主张
• 涉及暴力、仇恨、环境破坏等有害内容的场景

偏见、风险与限制

该模型可能生成包含敏感社会群体刻板印象的内容。开发者已采取以下措施：

• 移除不良训练数据源
• 通过控制代码限制生成范围
• 开发配套检测工具（参见CTRL-detector）

训练过程

训练数据

140GB多领域文本数据，包括：

• 多语言维基百科
• 古腾堡计划电子书
• Reddit社区内容
• 新闻数据集
• 亚马逊商品评论
• 国际会议记录

技术细节

• 架构：1280维模型，48层Transformer
• 训练硬件：TPU v3 Pod（256核）
• 训练时长：约2周
• 优化器：Adagrad（学习率0.05）

评估

主要评估标准为人工判定的控制代码有效性。

环境影响

• 硬件：TPU v3 Pod
• 训练时长：336小时
• 云服务商：Google Cloud

技术规格

完整技术细节参见原始论文。

引用

@article{keskarCTRL2019,
  title={{CTRL - A Conditional Transformer Language Model for Controllable Generation}},
  author={Keskar, Nitish Shirish and McCann, Bryan and Varshney, Lav and Xiong, Caiming and Socher, Richard},
  journal={arXiv preprint arXiv:1909.05858},
  year={2019}
}

模型卡作者

本模型卡由Hugging Face团队基于开发者发布的原始模型卡编写。

快速开始

from transformers import CTRLTokenizer, CTRLModel
tokenizer = CTRLTokenizer.from_pretrained("ctrl")
model = CTRLModel.from_pretrained("ctrl")
inputs = tokenizer("Opinion My dog is cute", return_tensors="pt")
outputs = model(**inputs)