license: apache-2.0 language:

• en datasets:
• wikipedia pipeline_tag: text-generation

模型描述

这是一个仅包含1.6亿参数的类LLaMA模型，训练数据来源于维基百科及部分C4-en和C4-realnewslike数据集。

目前尚未进行评估测试，请谨慎使用。

该模型主要作为SpecInfer论文中的基础小型推测模型而开发。

引用

如需引用本模型，请使用：

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}