license: apache-2.0 tags:

• llama
• GGUF datasets:
• togethercomputer/RedPajama-Data-1T quantized_by: andrijdavid

MobileLLaMA-1.4B-Base-GGUF

• 原始模型: MobileLLaMA-1.4B-Base

模型描述

本仓库包含MobileLLaMA-1.4B-Base的GGUF格式模型文件。

关于GGUF

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代不再受支持的GGML格式。以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp。GGUF的原生项目，提供命令行界面(CLI)和服务器选项。
• text-generation-webui，最广泛使用的网页界面，拥有众多功能和强大扩展，支持GPU加速。
• Ollama 一个轻量可扩展的框架，用于本地构建和运行语言模型。提供简洁的API来创建、管理和执行模型，并包含预构建模型库。
• KoboldCpp，全平台全架构GPU加速的网页界面，尤其擅长故事生成。
• GPT4All，免费开源的本地GUI，支持Windows/Linux/macOS全GPU加速。
• LM Studio Windows/macOS(Silicon)直观强大的本地GUI，支持GPU加速。
• LoLLMS Web UI。特色网页界面，提供丰富模型库便于选择。
• Faraday.dev，Windows/macOS(Intel/Silicon)美观易用的角色聊天GUI，支持GPU加速。
• llama-cpp-python，支持GPU加速、LangChain集成和OpenAI兼容API的Python库。
• candle，注重性能的Rust机器学习框架，支持GPU且易于使用。
• ctransformers，支持GPU加速、LangChain集成和OpenAI兼容AI服务器的Python库。
• localGPT 实现与文档私密对话的开源方案。

量化方法说明

GGUF文件下载指南

手动下载注意： 通常不需要克隆整个仓库！我们提供多种量化格式，多数用户只需下载单个文件。

以下客户端/库可自动下载模型并列出可选文件：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

通过text-generation-webui下载

在Download Model处输入模型仓库：andrijdavid/MobileLLaMA-1.4B-Base-GGUF，以及具体文件名如：MobileLLaMA-1.4B-Base-f16.gguf，点击Download即可。

命令行批量下载

推荐使用huggingface-hub库：

pip3 install huggingface-hub

然后通过以下命令高速下载单个文件到当前目录：

huggingface-cli download andrijdavid/MobileLLaMA-1.4B-Base-GGUF MobileLLaMA-1.4B-Base-f16.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download andrijdavid/MobileLLaMA-1.4B-Base-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download andrijdavid/MobileLLaMA-1.4B-Base-GGUF MobileLLaMA-1.4B-Base-f16.gguf --local-dir . --local-dir-use-symlinks False

确保使用d0cee0d或更新版本的llama.cpp。

./main -ngl 35 -m MobileLLaMA-1.4B-Base-f16.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<提示语>"

调整-ngl 32参数指定GPU加速层数，无GPU时移除该参数。

-c 4096可调整序列长度。对于8K/16K/32K等长序列模型，llama.cpp会自动从GGUF文件读取RoPE缩放参数。注意长序列会显著增加资源消耗。

如需对话模式，将-p <提示语>替换为-i -ins

其他参数用法参考llama.cpp文档

在text-generation-webui中运行

详细指南见：text-generation-webui/docs/04-模型标签页.md

Python代码调用

可通过llama-cpp-python或ctransformers库使用GGUF模型。截至2023年11月27日，ctransformers暂未更新，可能不兼容最新模型，建议优先使用llama-cpp-python。

使用llama-cpp-python加载模型

完整文档见：llama-cpp-python文档

安装依赖

根据系统选择以下命令：

# 基础版(无GPU加速)
pip install llama-cpp-python
# 启用NVIDIA CUDA加速
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# 启用OpenBLAS加速
CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python
# 启用CLBLast加速
CMAKE_ARGS="-DLLAMA_CLBLAST=on" pip install llama-cpp-python
# 启用AMD ROCm加速(仅Linux)
CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python
# 启用Metal加速(仅macOS)
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python
# Windows设置环境变量示例(NVIDIA CUDA)
$env:CMAKE_ARGS = "-DLLAMA_OPENBLAS=on"
pip install llama-cpp-python

基础调用示例

from llama_cpp import Llama
# 设置GPU加速层数，无GPU设为0
llm = Llama(
  model_path="./MobileLLaMA-1.4B-Base-f16.gguf",  # 需先下载模型文件
  n_ctx=32768,  # 最大序列长度（长序列需更多资源）
  n_threads=8,            # CPU线程数
  n_gpu_layers=35         # GPU加速层数
)
# 简单推理示例
output = llm(
  "<提示语>", # 输入提示
  max_tokens=512,  # 生成最多512个token
  stop=["</s>"],   # 停止标记（请根据模型确认）
  echo=True        # 是否回显提示
)
# 聊天补全API
llm = Llama(model_path="./MobileLLaMA-1.4B-Base-f16.gguf", chat_format="llama-2")  # 根据模型设置chat_format
llm.create_chat_completion(
    messages = [
        {"role": "system", "content": "你是一个故事写作助手。"},
        {
            "role": "user",
            "content": "写一个关于羊驼的故事。"
        }
    ]
)

LangChain集成指南

参考以下文档实现与LangChain的集成：

• LangChain + llama-cpp-python
• LangChain + ctransformers

原始模型卡片：MobileLLaMA-1.4B-Base

模型概要

MobileLLaMA-1.4B-Base是一个拥有14亿参数的Transformer模型。我们对LLaMA进行降尺度以提升部署便捷性。为保证可复现性，所有模型仅使用RedPajama v1数据集的1.3T token进行训练，这有助于通过受控实验推进进一步研究。

我们在两个标准自然语言基准测试（分别针对语言理解和常识推理）上进行了全面评估。实验结果表明，我们的MobileLLaMA 1.4B与最新开源模型性能相当。

模型来源

• 代码库：https://github.com/Meituan-AutoML/MobileVLM
• 论文：https://arxiv.org/abs/2312.16886

快速开始

模型权重可通过Hugging Face Transformers加载。示例代码参见GitHub。

训练细节

详见论文第4.1节：MobileVLM：面向移动设备的快速、强大、开源视觉语言助手。