许可协议: cc-by-nc-4.0 标签:

• 训练器生成
• 指令微调 模型索引:
• 名称: flan-t5-small-distil-v2 结果: [] 语言:
• 英文 管道标签: 文本生成 小部件:
  • 文本: >- 如何变得更健康？ 示例标题: 示例

LaMini-T5-738M

本模型是我们论文《LaMini-LM: 来自大规模指令的多样化蒸馏模型群》中LaMini-LM系列模型之一。该模型基于t5-large在LaMini-instruction数据集上微调而成，该数据集包含258万条指令微调样本。更多数据集信息请参考我们的项目仓库。
您可以通过下表查看LaMini-LM系列的其他模型。标有✩的模型在其规模/架构下具有最佳综合性能，我们推荐优先使用。详情请参阅论文。

使用指南

预期用途

推荐将该模型用于响应自然语言书写的人类指令。

以下展示如何使用HuggingFace的pipeline()加载和使用我们的模型：

# pip install -q transformers
from transformers import pipeline

checkpoint = "{模型名称}"

model = pipeline('text2text-generation', model = checkpoint)

input_prompt = '请分享您对以下地点的看法及推荐理由：\n"西班牙巴塞罗那"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("回复", generated_text)

训练流程

我们基于t5-large初始化，并在LaMini-instruction数据集上进行微调。模型总参数量为738M。

训练超参数

训练过程中使用的超参数如下：

• 学习率: 0.0005
• 训练批次大小: 128
• 评估批次大小: 64
• 随机种子: 42
• 梯度累积步数: 4
• 总训练批次大小: 512
• 优化器: Adam (betas=(0.9,0.999), epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮次: 5

评估

我们进行了两组评估：下游NLP任务的自动评估和面向用户指令的人工评估。详情请参阅我们的论文。

局限性

需要更多补充信息

引用文献

@article{lamini-lm,
  作者       = {吴明浩 and
                 阿卜杜勒·瓦希德 and
                 张驰宇 and
                 穆罕默德·阿卜杜勒-马吉德 and
                 阿尔哈姆·菲克里·阿吉
                 },
  题目        = {LaMini-LM: 来自大规模指令的多样化蒸馏模型群},
  期刊        = {CoRR},
  卷号        = {abs/2304.14402},
  年份        = {2023},
  网址        = {https://arxiv.org/abs/2304.14402},
  电子印本类型 = {arXiv},
  电子印本    = {2304.14402}
}