🚀 MobiLlama-05B

MobiLlama-05B是一个参数规模为5亿的小型语言模型。它基于Amber数据源 Amber-Dataset 进行训练，能在资源受限的场景下提供高效且准确的语言处理能力。

🚀 快速开始

在资源受限的设备上进行自然语言处理时，MobiLlama-05B是一个不错的选择。它从大型模型出发，通过精心设计的参数共享方案，降低了预训练和部署成本，同时保证了模型的性能。

✨ 主要特性

• 轻量级设计：专为资源受限的计算环境设计，减少资源需求的同时提升性能。
• 完全透明：完整的训练数据管道、训练代码、模型权重以及300多个检查点和评估代码均可在 Github 上获取。
• 架构优势：采用LLaMA-7B的架构设计构建小型语言模型（SLM）。

📚 详细文档

模型概述

在最近的大语言模型（LLM）发展中，“越大越好”一直是主流趋势。然而，LLM并不适合需要设备端处理、能源效率、低内存占用和响应效率的场景。这些需求对于隐私、安全和可持续部署至关重要。本文通过应对为资源受限设备设计准确且高效的小型语言模型（SLM）这一挑战，探索了“少即是多”的范式。我们的主要贡献是引入了一个准确且完全透明的开源5亿（0.5B）参数的SLM，名为MobiLlama，它满足了资源受限计算的特定需求，强调在减少资源需求的同时提高性能。MobiLlama是一种从大型模型开始的SLM设计，并应用了精心设计的参数共享方案，以降低预训练和部署成本。我们的工作不仅致力于填补开源SLM的空白，还确保了完全透明，完整的训练数据管道、训练代码、模型权重以及300多个检查点和评估代码均可在我们的 Github 上获取。

Arxiv论文链接

模型描述

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)

model.to('cuda')
text = "I was walking towards the river when "
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids
outputs = model.generate(input_ids, max_length=1000, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

🔧 技术细节

训练数据混合

超参数

评估

📄 许可证

本模型采用MIT许可证，详情请见 许可证链接。

引用

BibTeX:

@misc{thawakar2024mobillama,
      title={MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT}, 
      author={Omkar Thawakar and Ashmal Vayani and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Michael Felsberg and Timothy Baldwin and Eric P. Xing and Fahad Shahbaz Khan},
      year={2024},
      eprint={2402.16840},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}