许可证：apache-2.0
语言：

• 英文
  数据集：
• 维基百科
  管道标签：文本生成

模型描述

这是一个类似LLaMA的模型，仅包含6800万参数，训练数据来自维基百科以及部分C4-en和C4-realnewslike数据集。

目前尚未进行评估，使用时请谨慎。

该模型主要作为SpecInfer论文中的基础小型推测模型开发。

引用

如需引用该模型，请使用：

@misc{miao2023specinfer,  
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification},   
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},  
      year={2023},  
      eprint={2305.09781},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}