🚀 类LLaMA小参数模型

这个模型是一个类LLaMA模型，仅包含1.6亿参数，在维基百科、部分C4英文数据集和C4真实新闻类数据集上进行训练。它主要作为SpecInfer论文中的基础小型推测模型而开发。目前尚未进行评估，请谨慎使用。

📚 详细文档

模型描述

这是一个仅含1.6亿参数的类LLaMA模型，在维基百科、部分C4英文数据集和C4真实新闻类数据集上进行了训练。

目前尚未对该模型进行评估，因此使用时请谨慎。

该模型主要作为SpecInfer论文中的基础小型推测模型开发。

模型信息

引用信息

如需引用该模型，请使用以下格式：

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本模型采用Apache-2.0许可证。