标签:

• 由训练器生成 模型索引:
• 名称: retnet-mini-shakespeare 结果: [] 管道标签: 文本生成

retnet-mini-shakespeare

此模型是基于"tinyshakespeare"文本文件从头开始训练的。

模型描述

一个类似于jploski/falcon-mini-shakespeare的微型模型，用于展示使用保留网络（https://arxiv.org/pdf/2307.08621.pdf）进行训练和循环推理的过程。 代码采用了Sehyun Choi的保留网络实现（https://github.com/syncdoth/RetNet），并通过调整配置参数使其成为一个非常小的模型。

• 许可证: Apache 2.0.

预期用途与限制

旨在展示使用保留网络进行训练和（循环O(1)）推理的过程

训练与评估数据

https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

训练过程

注意：2023-11-10更新以适配syncdoth/RetNet的当前版本。

仅使用单个tinyshakespeare文本文件作为训练集和验证集（按段落分割）。参见：

https://colab.research.google.com/drive/1wZnM7FCe4TsQpoamJ7NDAuQfA3DYiwHi?usp=sharing

训练超参数

训练过程中使用了以下超参数：

• 学习率: 0.0006
• 训练批次大小: 32
• 评估批次大小: 32
• 随机种子: 42
• 梯度累积步数: 8
• 总训练批次大小: 256
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 余弦
• 学习率调度器预热步数: 10
• 训练轮数: 40

训练结果

框架版本

• Transformers 4.35.0
• Pytorch 2.1.0+cu118
• Datasets 2.14.6
• Tokenizers 0.14.1