许可证：apache-2.0
数据集：

• togethercomputer/RedPajama-Data-1T
  标签：
• llama

模型概述

MobileLLaMA-1.4B-Base 是一个拥有14亿参数的Transformer模型。我们对LLaMA进行了规模缩减，以便实现开箱即用的部署。为确保研究可复现性，所有模型仅基于RedPajama v1数据集的1.3万亿token进行训练，这为控制变量实验提供了便利，有助于进一步研究。

我们在两个标准自然语言基准测试上对模型进行了全面评估，分别针对语言理解和常识推理能力。实验结果表明，我们的MobileLLaMA 1.4B模型性能与最新开源模型相当。

模型来源

• 代码库：https://github.com/Meituan-AutoML/MobileVLM
• 论文：https://arxiv.org/abs/2312.16886

快速开始

模型权重可通过Hugging Face Transformers加载，示例代码详见Github。

训练细节

详见论文第4.1章节：MobileVLM: 面向移动设备的快速、强大、开源视觉语言助手。