license: apache-2.0 language:

• da

丹麦语GPT迷你版

丹麦语GPT迷你版是一个基于LLaMA架构、拥有11亿参数的大型语言模型。该模型是在TinyLLaMA基础上继续训练的成果。

本模型使用80亿个丹麦语合成文本token进行训练。

该模型属于"基础/补全"型模型，因此不适用于对话场景。

推理部署

推荐使用vLLM框架：

pip install vllm

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
llm = LLM(model="mhenrichsen/danskgpt-tiny")

while True:
    prompt = input("请输入: ")
    outputs = llm.generate(prompt, sampling_params)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"输入: {prompt!r}, 生成文本: {generated_text!r}")

需要帮助？

如果您对大型语言模型或文本自动化处理有任何疑问，欢迎随时联系我。

/Mads