language:

• en license: llama3 library_name: transformers tags:
• Llama-3-6B
• 6B

模型概述

全球首个6B参数的Llama-3基础模型正式发布。该模型是通过降级循环技术从Meta-Llama-3-8B衍生而来的未训练版本。

训练完成的模型版本可在此查看： https://huggingface.co/prince-canuma/Llama-3-6B-v0.1

模型详情

• 开发者: Prince Canuma
• 赞助方: General
• 模型类型: Llama
• 许可协议: Llama-3

模型来源

• 代码仓库: https://github.com/Blaizzy/Coding-LLMs-from-scratch/tree/main/Llama-3
• 视频教程: https://youtube.com/playlist?list=PLDn_JsyofyfTH5_5V1MNb8UYKxMl6IMNy&si=5Y4cm-6wrMOD1Abr

引用文献

BibTeX格式:

@misc{prince2024downcycling,
      title={高效LLM降级循环：从预训练巨量模型中生成多样化规模模型},
      author={Prince Canuma},
      year={2024},
}

致谢辞

衷心感谢技术社区提供的宝贵专业知识和坚定支持。

特别鸣谢General Catalyst（GC）的Viet为我提供了关键的计算资源支持。

这是我迄今最具雄心的项目，没有开源机器学习社区的鼎力相助，这一切都不可能实现！

开发者们，我热切期待见证你们创新的微调方案和应用成果。

用户们，我渴望了解你们的使用体验和应用场景。

感谢各位的关注与支持！

参考文献:

@misc{komatsuzaki2023sparse,
      title={稀疏升级：从稠密检查点训练混合专家系统}, 
      author={Aran Komatsuzaki and Joan Puigcerver and James Lee-Thorp and Carlos Riquelme Ruiz and Basil Mustafa and Joshua Ainslie and Yi Tay and Mostafa Dehghani and Neil Houlsby},
      year={2023},
      eprint={2212.05055},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{sanyal2024pretraining,
      title={使用少量token预训练小型基础语言模型}, 
      author={Sunny Sanyal and Sujay Sanghavi and Alexandros G. Dimakis},
      year={2024},
      eprint={2404.08634},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}