许可证: cc-by-nc-4.0 标签:

• 训练器生成
• 指令微调 模型索引:
• 名称: flan-t5-small-distil-v2 结果: [] 语言:
• 英文 管道标签: 文本生成 小部件:
  • 文本: >- 如何变得更健康？ 示例标题: 示例

LaMini-T5-61M

本模型是我们论文"LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions"中LaMini-LM系列的一员。该模型是在LaMini-instruction数据集上微调的t5-small版本，该数据集包含258万条指令微调样本。关于数据集的更多信息，请参考我们的项目仓库。
您可以查看LaMini-LM系列的其他模型如下。标有✩的模型在其规模/架构下具有最佳整体性能，因此我们推荐使用它们。更多细节请参阅我们的论文。

使用

预期用途

我们推荐使用该模型来响应以自然语言书写的人类指令。

现在，我们展示如何使用HuggingFace的pipeline()加载和使用我们的模型。

# pip install -q transformers
from transformers import pipeline

checkpoint = "{model_name}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = '请告诉我您对以下地方的看法以及为什么您认为它值得一游：\n"西班牙巴塞罗那"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("回复", generated_text)

训练过程

我们以t5-small为基础，并在我们的LaMini-instruction数据集上进行了微调。其总参数数量为61M。

训练超参数

训练过程中使用了以下超参数：

• 学习率: 0.0005
• 训练批次大小: 128
• 评估批次大小: 64
• 随机种子: 42
• 梯度累积步数: 4
• 总训练批次大小: 512
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 5

评估

我们进行了两组评估：下游NLP任务的自动评估和面向用户的指令的人工评估。更多细节请参阅我们的论文。

局限性

需要更多信息

引用

@article{lamini-lm,
  author       = {Minghao Wu and
                  Abdul Waheed and
                  Chiyu Zhang and
                  Muhammad Abdul-Mageed and
                  Alham Fikri Aji
                  },
  title        = {LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}