标签:

• flax

模型卡片：gpt-neo-125M-code-clippy-dedup-2048

模型详情

模型描述

需要更多信息

• 开发者: Flax社区
• 共享方[可选]: Hugging Face
• 模型类型: 文本生成
• 支持语言(NLP): 需要更多信息
• 许可协议: 需要更多信息
• 相关模型:
  • 父模型: GPT-Neo
• 更多信息参考:
  • GitHub仓库

用途

直接用途

本模型可用于文本生成任务

下游用途[可选]

需要更多信息

非适用范围

该模型不得用于故意制造针对人群的敌对或疏离环境

偏见、风险与局限性

大量研究已探讨语言模型的偏见与公平性问题（参见Sheng等人(2021)和Bender等人(2021)）。模型生成的预测可能包含针对受保护群体、身份特征以及敏感社会职业群体的有害刻板印象。

建议

开发者在GitHub仓库中声明：

问题：数据集中的错误文件名
我们近期发现数据集爬取过程中存在漏洞，文件名存在过时/误导性情况。参见该议题
这可能导致两个影响：

• 由于训练数据集通过文件扩展名进行过滤，可能混入错误数据点，同时遗漏大量符合目标语言的正确数据

训练详情

训练数据

开发者在GitHub仓库中说明：

使用AdamW优化器（β1=0.9，β2=0.95）对GPTNeo-125M进行CodeClippy数据集微调，采用GPT3风格学习率调度（4000步从0线性预热至5e-5，随后50000步余弦衰减至5e-6），权重衰减0.1，批量大小1024，序列长度2048。

训练流程

预处理

需要更多信息

速度、规模与耗时

开发者说明：

选择较大批量与较低学习率配合长预热期，旨在避免激进更新以保留GPTNeo预训练权重中的知识

评估

测试数据、因素与指标

测试数据

开发者在GitHub仓库中说明：

模型同时在APPS和HumanEval数据集上进行评估

因素

需要更多信息

指标

需要更多信息

结果

模型检验

需要更多信息

环境影响

碳排放量可通过Lacoste等人(2019)提出的机器学习影响计算器估算

• 硬件类型: 需要更多信息
• 使用时长: 需要更多信息
• 云服务商: 需要更多信息
• 计算区域: 需要更多信息
• 碳排放量: 需要更多信息

技术规格[可选]

模型架构与目标

GPTNeoForCausalLM

计算基础设施

需要更多信息

硬件

需要更多信息

软件

需要更多信息

引用

BibTeX格式: 需要更多信息

APA格式: 需要更多信息

术语表[可选]

需要更多信息

更多信息[可选]

需要更多信息

模型卡片作者[可选]

Flax社区联合Ezi Ozoani及Hugging Face团队

模型卡片联系人

需要更多信息

快速开始指南

使用以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("flax-community/gpt-neo-125M-code-clippy-dedup-2048")

model = AutoModelForCausalLM.from_pretrained("flax-community/gpt-neo-125M-code-clippy-dedup-2048")