许可协议: cc-by-nc-4.0 语言:

• 英文 任务标签: 文本生成 交互示例:

  • 文本: >- 以下是一条描述任务的指令。

    请撰写恰当完成该请求的回复。

    指令:

    如何变得更健康？

    回复:

    示例标题: 示例

LaMini-GPT-774M

本模型是我们论文《LaMini-LM: 基于大规模指令蒸馏的多样化模型群》中LaMini-LM系列模型之一，基于gpt2-large在包含258万条指令调优样本的LaMini-instruction数据集上微调而成。更多数据集信息请参阅项目仓库。
下表展示了LaMini-LM系列其他模型，标有✩的型号在同类架构中综合表现最佳，推荐优先选用。详见论文。

使用指南

适用场景

建议用于响应自然语言编写的人类指令。由于该解码器模型采用包装文本微调，建议使用相同格式以获得最佳效果。参见右侧示例或以下代码：

通过HuggingFace pipeline()加载模型：

# pip install -q transformers
from transformers import pipeline

checkpoint = "{模型名称}" 

model = pipeline('text-generation', model = checkpoint)

instruction = '请分享您对以下地点的看法及推荐理由：\n"西班牙巴塞罗那"'

input_prompt = f"以下是一条描述任务的指令。请撰写恰当完成该请求的回复。\n\n### 指令:\n{instruction}\n\n### 回复:"

generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']

print("回复", generated_text)

训练流程

基于gpt2-large初始化，在LaMini-instruction数据集上微调，总参数量7.74亿。

评估

我们进行了两类评估：下游NLP任务的自动评估和用户导向指令的人工评估。详见论文。

局限性

需补充更多信息

引用

@article{lamini-lm,
  author       = {吴明浩 and
                  阿卜杜勒·瓦希德 and
                  张驰宇 and
                  穆罕默德·阿卜杜勒-马吉德 and
                  阿尔哈姆·菲克里·阿吉
                  },
  title        = {LaMini-LM：基于大规模指令蒸馏的多样化模型群},
  journal      = {CoRR},
  volume       = {abs/2304.14402},
  year         = {2023},
  url          = {https://arxiv.org/abs/2304.14402},
  eprinttype   = {arXiv},
  eprint       = {2304.14402}
}