library_name: transformers base_model:

• meta-llama/Llama-2-7b-hf tags:
• llama-factory
• full
• diffusion model-index:
• name: diffullama results: [] license: apache-2.0 datasets:
• bigcode/starcoderdata
• cerebras/SlimPajama-627B

diffullama

本模型是基于[llama2]进行微调的版本。

模型描述

模型详情及加载方式请参阅https://github.com/HKUNLP/DiffuLLaMA。

框架版本

• Transformers 4.44.2
• Pytorch 2.1.1+cu121
• Datasets 2.21.0
• Tokenizers 0.19.1

@misc{gong2024scalingdiffusionlanguagemodels,
      title={通过自回归模型适配扩展扩散语言模型}, 
      author={龚善三、Shivam Agarwal、张一哲、叶家成、郑琳、李牧开、安晨昕、赵培霖、毕伟、韩佳伟、彭浩、孔令鹏},
      year={2024},
      eprint={2410.17891},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.17891}, 
}