library_name: transformers tags:

• llama2
• 德语
• 德国
• seedbox license: llama2 datasets:
• seedboxai/multitask_german_examples_32k language:
• de pipeline_tag: text-generation

KafkaLM-70B-德语-V0.1

KafkaLM 70b是基于Llama2 70B基础模型开发的70B参数模型，通过在多个高质量开源指令集（从英语翻译为德语）上进行微调训练而成。

KafkaLM 70b是由Dennis Dickmann训练的Seedbox项目。

为什么命名为Kafka？
这些模型既专业又富有创造力，在语言表达上具有突破常规的倾向 😊

模型详情

发布KafkaLM系列的目的是为德语AI社区贡献一组经过微调的大语言模型，便于在各种日常应用场景中使用。

主要目标是提供精通德语的LLM模型，特别是在仅使用英语不够的德语商务场景中发挥作用。

数据集

使用了经过4k过滤处理的以下数据集：seedboxai/multitask_german_examples_32k

提示词格式

本模型遵循以下提示格式：

<|system|>
你是一个友好且乐于助人的AI助手。你以事实为导向，精确回答问题，不会遗漏相关事实。</s>
<|user|>
除了太阳能和储能系统外，我还有什么能源改造的选择？</s>
<|assistant|>

推理

使用该模型非常简单

import transformers

model_id = "seedboxai/KafkaLM-70B-German-V0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.padding_side = "right" 
tokenizer.pad_token = tokenizer.unk_token 
tokenizer.add_eos_token = False

def generate_prompt(input):
    prompt = ''
    sys_prompt = "你是一个友好且乐于助人的AI助手。你以事实为导向，精确回答问题，不会遗漏相关事实。"
    
    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
    prompt += f"<|user|>\n{input.strip()}</s>\n"
    prompt += f"<|assistant|>\n"

    return prompt.strip()


generate_text = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    temperature=0.5,  
    max_new_tokens=512,
    top_p=0.95,
    top_k=50,
    do_sample=True,
)

print(generate_text(generate_prompt("这个卡夫卡到底是谁？"))

免责声明

本模型的许可证不构成法律建议。我们对第三方使用该模型的行为不承担责任。 该模型应仅用于研究目的。原始Llama2许可证及用于训练该模型的所有数据集的限制条款均适用。