许可证：apache-2.0
标签：

• 训练生成
• 文本生成
• 邮件生成
• 电子邮件

数据集：

• aeslc
• postbot/multi-emails-100k

示例输入：

• 文本：'早上好，Beans教授，希望您一切安好。我想联系您询问考试是否会涉及微分微积分。'
  示例标题：给教授的邮件
• 文本：'嘿，John Doe，感谢订阅我的每周通讯。在开始前，请先确认您的邮箱地址。'
  示例标题：通讯邮件
• 文本：'嗨，Jane Doe，希望这封邮件送达时您一切顺利。我想联系您咨询办公时间安排。'
  示例标题：办公时间咨询
• 文本：'问候John Doe，希望您在公司的香肠美食节度过愉快夜晚。我联系您是因为...'
  示例标题：节日问候
• 文本：'早上好Harold，我想知道下次活动的...'
  示例标题：活动咨询
• 文本：'紧急——我需要TPS报告'
  示例标题：加急邮件
• 文本：'你好Archibald，希望这封邮件送达时您状态极佳。'
  示例标题：问候邮件
• 文本：'您好，我想联系您确认...'
  示例标题：跟进邮件
• 文本：'你好Jane Doe，希望您一切安好。想了解您在我们这里的体验如何'
  示例标题：工作反馈
• 文本：'嗨John Doe，希望您一切顺利。想约时间叙旧'
  示例标题：叙旧邀约
• 文本：'我是John Doe，刚搬来这个地区，想咨询哪里可以采购杂货及...'
  示例标题：生活咨询

参数设置：

• 最小长度：32
• 最大长度：128
• 禁止重复词元数：2
• 启用采样：是
• 温度系数：0.4
• 最高k值：30
• 最高p值：0.9
• 重复惩罚系数：3.5
• 长度惩罚系数：0.9

基础模型：EleutherAI/gpt-neo-1.3B

模型索引：

• 名称：gpt-neo-1.3B-emailgen
  测试结果：
  • 文本生成任务：
    • AI2推理挑战（25样本）：标准化准确率29.95%
    • HellaSwag（10样本）：标准化准确率47.95%
    • MMLU（5样本）：准确率24.11%
    • TruthfulQA（0样本）：多项选择得分42.55
    • Winogrande（5样本）：准确率56.27%
    • GSM8k（5样本）：准确率0.00%

gpt-neo-1.3B-emailgen

本模型是基于EleutherAI/gpt-neo-1.3B在postbot/multi-emails-100k数据集上微调的版本，在评估集上取得以下结果：

• 损失值：1.6930

模型描述

（待补充详细信息）

使用场景与限制

（待补充详细信息）

训练与评估数据

（待补充详细信息）

训练流程

超参数配置

• 学习率：0.0001
• 训练批大小：4
• 评估批大小：4
• 随机种子：42
• 分布式类型：多GPU
• 梯度累积步数：32
• 总训练批大小：128
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器：余弦退火
• 预热比例：0.02
• 训练轮次：2

训练结果

框架版本

• Transformers 4.22.2
• PyTorch 1.10.0+cu113
• Tokenizers 0.12.1

开放大模型排行榜评估结果

详细结果参见此处