base_model:

• nvidia/Hymba-1.5B-Base library_name: transformers license: other license_name: nvidia-open-model-license license_link: https://developer.download.nvidia.com/licenses/nvidia-open-model-license-agreement-june-2024.pdf pipeline_tag: text-generation

Hymba-1.5B-Instruct 指令微调模型

💾 GitHub仓库   |    📄 论文 |    📜 技术博客  

模型概览

Hymba-1.5B-Instruct是基于Hymba-1.5B-Base进行指令微调的15亿参数模型，融合了开源指令数据集与内部合成数据集。该模型采用监督式微调与直接偏好优化联合训练，具备数学推理、函数调用、角色扮演等复杂任务处理能力，已开放商业使用。

开发机构: NVIDIA
训练周期: 2024年9月4日至2024年11月10日
许可协议: NVIDIA开放模型许可协议

架构创新

⚡️ 我们在GitHub开源了Hymba的极简实现：barebones-hymba，帮助开发者理解其设计原理。

核心参数配置：

• 嵌入维度：1600
• 注意力头数：25
• MLP中间层维度：5504
• 总层数：32（含16个SSM状态层+3个全注意力层+滑动窗口注意力层）

架构亮点：

1. 混合注意力机制：每层并行集成标准注意力头与Mamba头
2. 元标记技术：前置标记全局交互，缓解"强制关注"压力
3. 高效设计：结合分组查询注意力(GQA)、旋转位置编码(RoPE)、跨层KV共享与全局-局部注意力

性能表现

在小型语言模型中综合性能领先：

使用指南

环境配置

支持两种部署方式：

1. 本地安装（CUDA 12.1/12.4）：

wget --header="Authorization: Bearer YOUR_HF_TOKEN" https://huggingface.co/nvidia/Hymba-1.5B-Base/resolve/main/setup.sh
bash setup.sh

2. Docker部署：

docker pull ghcr.io/tilmto/hymba:v1
docker run --gpus all -v /home/$USER:/home/$USER -it ghcr.io/tilmto/hymba:v1 bash

交互示例

from transformers import AutoModelForCausalLM, AutoTokenizer, StopStringCriteria, StoppingCriteriaList
import torch

# 初始化模型
model = AutoModelForCausalLM.from_pretrained("nvidia/Hymba-1.5B-Instruct", trust_remote_code=True).cuda().to(torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("nvidia/Hymba-1.5B-Instruct", trust_remote_code=True)

# 构建对话
messages = [
    {"role": "system", "content": "你是有用的助手"},
    {"role": "user", "content": input()}
]

# 生成响应
inputs = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt").to('cuda')
outputs = model.generate(
    inputs,
    max_new_tokens=256,
    stopping_criteria=StoppingCriteriaList([StopStringCriteria(tokenizer, "</s>")])
)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

微调方案

推荐使用LMFlow框架：

1. 准备Docker环境
2. 安装LMFlow
3. 执行微调脚本：

cd LMFlow && bash ./scripts/run_finetune_hymba.sh

支持DoRA/LoRA/LISA/Flash Attention等高效微调技术。

使用限制

1. 可能放大训练数据中的偏见或生成不当内容
2. 存在越狱攻击风险，建议在RAG应用中加强输出验证
3. 需自行评估行业合规要求

学术引用

@misc{dong2024hymba,
      title={Hymba: 面向小型语言模型的混合头架构}, 
      author={董鑫等},
      year={2024},
      eprint={2411.13676},
      primaryClass={cs.CL}
}