语言:

• 英文 库名称: transformers 许可证: apache-2.0 标签:
• GPT
• 大语言模型
• H2O-LLMStudio 缩略图: >- https://h2o.ai/etc.clientlibs/h2o/clientlibs/clientlib-site/resources/images/favicon.ico 管道标签: 文本生成

模型卡片

概述

h2o-danube2-1.8b-chat 是由H2O.ai微调的聊天模型，拥有18亿参数。我们发布了该模型的三个版本：

该模型使用H2O LLM Studio训练。

模型架构

我们调整了Llama 2架构，总参数约为18亿。详情请参阅我们的技术报告。我们使用Mistral分词器，词汇量为32,000，并将模型训练至上下文长度8,192。

模型架构的详细信息如下：

使用方法

要在配备GPU的机器上使用transformers库运行该模型，首先确保已安装transformers库。

pip install transformers>=4.39.3

import torch
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="h2oai/h2o-danube2-1.8b-chat",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

# 我们使用HF Tokenizer聊天模板格式化每条消息
# https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "为什么喝水对健康如此重要？"},
]
prompt = pipe.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
res = pipe(
    prompt,
    max_new_tokens=256,
)
print(res[0]["generated_text"])

这将自动应用并运行正确的提示格式：

<|prompt|>为什么喝水对健康如此重要？</s><|answer|>

量化和分片

您可以通过指定load_in_8bit=True或load_in_4bit=True加载量化模型。此外，通过设置device_map=auto可以在多个GPU上分片运行。

模型架构

MistralForCausalLM(
  (model): MistralModel(
    (embed_tokens): Embedding(32000, 2560, padding_idx=0)
    (layers): ModuleList(
      (0-23): 24 x MistralDecoderLayer(
        (self_attn): MistralAttention(
          (q_proj): Linear(in_features=2560, out_features=2560, bias=False)
          (k_proj): Linear(in_features=2560, out_features=640, bias=False)
          (v_proj): Linear(in_features=2560, out_features=640, bias=False)
          (o_proj): Linear(in_features=2560, out_features=2560, bias=False)
          (rotary_emb): MistralRotaryEmbedding()
        )
        (mlp): MistralMLP(
          (gate_proj): Linear(in_features=2560, out_features=6912, bias=False)
          (up_proj): Linear(in_features=2560, out_features=6912, bias=False)
          (down_proj): Linear(in_features=6912, out_features=2560, bias=False)
          (act_fn): SiLU()
        )
        (input_layernorm): MistralRMSNorm()
        (post_attention_layernorm): MistralRMSNorm()
      )
    )
    (norm): MistralRMSNorm()
  )
  (lm_head): Linear(in_features=2560, out_features=32000, bias=False)
)

基准测试

🤗 开放LLM排行榜

MT-Bench

第一轮: 6.23
第二轮: 5.34
平均: 5.79

免责声明

在使用本仓库提供的大语言模型前，请仔细阅读以下免责声明。使用该模型即表示您同意以下条款和条件。

• 偏见与冒犯性内容：大语言模型基于多样化的互联网文本数据训练，可能包含偏见、种族歧视、冒犯性或其他不当内容。使用该模型即表示您承认并接受生成内容可能偶尔会表现出偏见或产生冒犯性、不当内容。本仓库开发者不认可、支持或推广任何此类内容或观点。
• 局限性：大语言模型是基于AI的工具而非人类，可能产生错误、无意义或不相关的回答。用户有责任对生成内容进行批判性评估并自行决定使用方式。
• 风险自担：用户必须对使用该工具可能产生的任何后果承担全部责任。本仓库开发者及贡献者不对因使用或滥用该模型导致的任何损害、损失或伤害承担责任。
• 道德考量：鼓励用户以负责任和符合道德的方式使用大语言模型。使用该模型即表示您同意不将其用于宣扬仇恨言论、歧视、骚扰或任何非法及有害活动。
• 问题报告：如发现模型生成的任何偏见、冒犯性或不当内容，请通过指定渠道向仓库维护者报告。您的反馈将有助于改进模型并缓解潜在问题。
• 免责声明变更：本仓库开发者保留随时修改或更新本免责声明的权利，恕不另行通知。用户有责任定期查阅免责声明以了解变更内容。

使用本仓库提供的大语言模型即表示您同意接受并遵守本免责声明中概述的条款和条件。如不同意本免责声明的任何部分，您应停止使用该模型及其生成内容。