语言:

• 德语
• 英语 许可证: llama3 库名称: transformers 标签:
• 德语
• 德国
• seedbox
• llama3
• 英语 数据集:
• seedboxai/multitask_german_examples_32k 管道标签: 文本生成

Llama-3-KafkaLM-8B-v0.1

KafkaLM 8b 是基于Llama3 8b模型微调而成，其训练数据来源于多个高质量开源指令集（由英文翻译为德文）。

Llama 3 KafkaLM 8b是由Seedbox项目开发，由Dennis Dickmann训练完成。

为何命名为Kafka？
这些模型不仅能力出众且富有创造力，在语言表达上还带有突破常规的倾向 😊

模型详情

发布KafkaLM系列的目的是为德语AI社区贡献一组经过微调的大语言模型，便于在各种日常任务中应用。

主要目标是提供精通德语的LLM，特别是在仅使用英语不足以应对的德语商业场景中发挥作用。

数据集

使用了经过过滤的8k版本数据集：seedboxai/multitask_german_examples_32k

推理

使用该模型非常简单：

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "seedboxai/Llama-3-KafkaLM-8B-v0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)

pipeline = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    device="cuda",
)

messages = [
    {"role": "system", "content": "Du bist ein hilfreicher KI-Assistent."},
    {"role": "user", "content": "Wer ist eigentlich dieser Kafka?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=max_new_tokens,
    num_beams=5,
    num_return_sequences=1,
    early_stopping=True,
    eos_token_id=terminators,
    do_sample=True,
    temperature=temperature,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

<|start_header_id|>system<|end_header_id|>Du bist ein hilfreicher KI-Assistent.<|eot_id|>
<|start_header_id|>user<|end_header_id|>Wer ist eigentlich dieser Kafka?<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>Franz Kafka (1883-1924) war ein tschechisch-österreichischer Schriftsteller,
der als einer der bedeutendsten Autoren des 20. Jahrhunderts gilt. Seine Werke sind geprägt von existenzieller Angst, Isolation, Verwirrung und Absurdität.
Kafka wurde in Prag, Österreich-Ungarn (heute Tschechische Republik), geboren und wuchs in einer jüdischen Familie auf.
Er studierte Rechtswissenschaften und arbeitete als Versicherungsangestellter, bevor er sich dem Schreiben zuwandte.

Kafkas literarisches Werk umfasst Romane, Erzählungen, Briefe und Tagebücher. Zu seinen bekanntesten Werken gehören "Der Prozess" (1925),
"Das Schloss" (1926) und "Die Verwandlung" (1915). Seine Geschichten sind geprägt von surrealen, traumähnlichen Szenarien,
in denen die Charaktere oft in Situationen geraten, die sie nicht verstehen oder kontrollieren können.

Kafkas Werk hat einen tiefgreifenden Einfluss auf die Literatur und Kultur des 20. Jahrhunderts gehabt.
Seine Werke wurden in viele Sprachen übersetzt und inspirierten Autoren wie Albert Camus, Jean-Paul Sartre, Samuel Beckett und Thomas Mann.

Kafka starb 1924 im Alter von 40 Jahren an Tuberkulose. Trotz seines relativ kurzen Lebens hat er einen bleibenden Eindruck auf die Literatur und Kultur hinterlassen.

免责声明

本模型的许可证不构成法律建议。我们对第三方使用该模型的行为不承担责任。
该模型仅限研究用途。原始Llama3许可证及用于训练该模型的所有数据集的限制条款均适用。