语言:

• 英文 库名称: transformers 许可证: apache-2.0 标签:
• GPT
• 大语言模型
• 大型语言模型

概述

h2o-danube-1.8b-base是由H2O.ai训练的基础模型，拥有18亿参数。详情请参阅我们的技术报告。我们发布了该模型的三个版本：

模型架构

我们对Llama 2架构进行了调整，总参数量约为18亿。使用原始Llama 2分词器（词汇量32,000），训练上下文长度达16,384。采用了mistral的滑动窗口注意力机制（窗口大小4,096）。

模型架构细节如下：

使用说明

这是一个预训练基础模型。针对具体任务，建议进行应用场景的微调。我们也提供了对话微调版本：h2oai/h2o-danube-1.8b-chat。

在配备GPU的设备上使用transformers库时，请确保已安装该库：

# pip install transformers==4.37.0

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("h2oai/h2o-danube-1.8b-base")

model = AutoModelForCausalLM.from_pretrained(
    "h2oai/h2o-danube-1.8b-base",
    torch_dtype=torch.bfloat16,
)
model.cuda()

inputs = tokenizer("多瑙河是欧洲第二长河", return_tensors="pt").to(model.device)
res = model.generate(
    **inputs,
    max_new_tokens=38,
    do_sample=False,
)
print(tokenizer.decode(res[0], skip_special_tokens=True))

基准测试

零样本测试下的常识、世界知识和阅读理解表现：

免责声明

使用本仓库提供的大型语言模型前，请仔细阅读以下免责声明。使用即表示您同意以下条款：

• 偏见与冒犯性：模型训练数据来自多样化的互联网文本，可能包含偏见、种族歧视、冒犯性或其他不当内容。使用者需知悉并接受生成内容可能存在的偏差或不当性。开发者不认可、不支持任何此类内容或观点。
• 局限性：本模型是AI工具而非人类，可能产生错误、无意义或不相关回答。使用者需对生成内容进行审慎评估并自行承担使用风险。
• 自担风险：使用者需对模型使用后果承担全部责任。开发者及贡献者不对因使用或误用导致的任何损害、损失或伤害负责。
• 道德约束：鼓励用户以负责任且符合道德的方式使用模型。禁止将模型用于宣扬仇恨言论、歧视、骚扰等非法或有害行为。
• 问题反馈：如发现模型生成存在偏见、冒犯性或不当内容，请通过指定渠道向维护者报告。您的反馈将助力模型改进。
• 免责声明变更：开发者保留随时修改免责声明的权利，恕不另行通知。用户有责任定期查阅以了解变更内容。

使用本仓库模型即表示您接受本免责声明全部条款。如不同意任何条款，请立即停止使用模型及其生成内容。