语言:

• 英语
• 德语
• 意大利语
• 法语
• 丹麦语
• 瑞典语
• 芬兰语
• 挪威语

概述

克拉肯多语言模型及架构Kraken是Cognitive Computations、VAGO Solutions与Hyperspace.ai的联合成果。

由Fernando Fernandes Neto、David Golchinfar、Lucas Atkins和Eric Hartford共同创建

克拉肯多语言模型支持德语、英语、意大利语、法语、瑞典语、芬兰语、丹麦语和挪威语。

克拉肯架构是一个专为动态文本生成任务设计的精密机器学习框架。它利用Hugging Face的transformers库协调多个因果语言模型（CLM），并根据输入文本的上下文和内容智能路由至不同模型。该架构由自定义配置类（KrakenConfig）驱动，可便捷集成和管理分词器、模型及路由机制等各类组件。

特性

动态模型路由：使用序列分类模型根据输入特征将请求路由至最合适的语言模型
多语言模型支持：集成多种预训练因果语言模型，提供灵活的情境适配响应
可定制模板：支持使用预定义模板格式化输入，增强模型在不同对话场景中的适应性
可扩展配置：采用可轻松扩展的自定义配置方案，适用于各类因果语言建模用例

专家模型选型：

      "德语/英语专家": "VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct",
      "意大利语功能专家": "mii-community/zefiro-7b-dpo-ITA",
      "法语专家": "paulml/Hermes-2-Pro-French",
      "斯堪的纳维亚语专家": "norallm/normistral-7b-warm-instruct",

加载和调用克拉肯多语言模型的方法：

from transformers import AutoModelForCausalLM
device = "cuda:0" ## NVIDIA显卡设为"cuda:0"，Mac设备设为"mps"

# 加载模型及配置：
model = AutoModelForCausalLM.from_pretrained("./kraken_model", trust_remote_code=True)

调用德语专家：

messages = [
    {'role': 'system', 'content': '你是一个友善且乐于助人的德语AI助手'},
    {'role': 'user', 'content': "用两句话讲一个简短的睡前故事"}
    ]

tokenizer = model.tokenizer
input_text = tokenizer.apply_chat_template(messages, tokenize=False)
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda:0")
output_ids = model.generate(input_ids, max_length=150)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))