库名称: transformers
许可证: apache-2.0
数据集:

• OpenAssistant/oasst2
• nvidia/HelpSteer
  语言:
• 英语
• 日语
  标签:
• mixtral
• steerlm
  基础模型: tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1
  模型索引:
• 名称: karakuri-ai/karakuri-lm-8x7b-chat-v0.1
  结果:
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MT-Bench
    类型: 未知
    指标:
    • 类型: 未知
      名称: 得分
      值: 7.39375
      来源:
      url: https://huggingface.co/spaces/lmsys/mt-bench
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MT-Bench-jp
    类型: 未知
    指标:
    • 类型: 未知
      名称: 得分
      值: 7.540625
      来源:
      url: https://api.wandb.ai/links/wandb-japan/6ff86bp3

KARAKURI LM 8x7B 聊天模型 v0.1

模型详情

模型描述

• 开发团队: KARAKURI 公司
• 模型类型: 专家混合模型 (MoE)
• 支持语言: 主要为英语和日语
• 许可证: Apache 2.0
• 微调基础模型: tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1
• 联系方式: 有关模型的疑问和建议，请发送邮件至 karakuri-rd@karakuri.ai
• 演示地址: https://lm.karakuri.cc/

使用方法

注意事项

本模型的提示格式与 KARAKURI LM 70B 聊天模型 v0.1 不同。
请务必遵循正确的格式，否则模型可能生成次优输出。

提示格式

我们采用Mistral格式的多轮对话模板，其中包含多个属性值的编码字符串：

from transformers import AutoTokenizer  

tokenizer = AutoTokenizer.from_pretrained("karakuri-ai/karakuri-lm-8x7b-chat-v0.1")  

messages = [  
    {"role": "system", "content": "系统提示"},  
    {"role": "user", "content": "用户提示"},  
    {"role": "assistant", "content": "模型响应"},  
    {"role": "user", "content": "用户提示"},  
]  
tokenizer.apply_chat_template(messages, tokenize=False)  
# <s>[INST] <<SYS>>  
# 系统提示  
# <</SYS>>  
#  
# 用户提示 [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST]模型响应</s>[INST] 用户提示 [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST]  

该模板包含九个属性：
前五个源自HelpSteer数据集，后四个源自OASST2数据集。
属性值为0-4的整数，0表示最低，4表示最高。

• 帮助性 (默认:4): 响应内容对提示的整体帮助程度
• 正确性 (默认:4): 包含所有相关事实且无错误
• 连贯性 (默认:4): 表达的连贯性和清晰度
• 复杂性 (默认:4): 撰写响应所需的知识深度
• 详细度 (默认:4): 相对于提示要求的细节量
• 质量 (默认:4): 响应的感知质量
• 毒性 (默认:0): 包含不良内容（如粗俗、有害或偏见）
• 幽默感 (默认:0): 响应中的幽默元素
• 创造力 (默认:0): 生成非常规响应的意愿

如需修改默认属性值，可在用户消息中添加：

messages = [  
    {"role": "user", "content": "用户提示", "helpfulness": 0, "complexity": 0},  
]  
tokenizer.apply_chat_template(messages, tokenize=False)  
# <s>[INST] 用户提示 [ATTR] helpfulness: 0 correctness: 4 coherence: 4 complexity: 0 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST]  

运行模型

from transformers import AutoModelForCausalLM  

model = AutoModelForCausalLM.from_pretrained(  
    "karakuri-ai/karakuri-lm-8x7b-chat-v0.1",  
    torch_dtype="auto",  
    device_map="auto",  
)  

messages = [  
    {  
        "role": "user",  
        "content": "周末想当天往返东京游玩。因为是日归行程，请推荐能在短时间内完成的观光方案。",  
    },  
]  

input_ids = tokenizer.apply_chat_template(  
    messages,  
    return_tensors="pt",  
).to(model.device)  
outputs = model.generate(input_ids, max_new_tokens=512)  
tokenizer.decode(outputs[0][input_ids.shape[-1]:])  

性能表现

训练详情

训练数据

• OASST2
• HelpSteer
• 内部日语数据集

训练基础设施

• 硬件: 使用8个Amazon EC2 trn1.32xlarge实例节点训练
• 软件: 基于neuronx-nemo-megatron的代码

引用

@misc{karakuri_lm_8x7b_chat_v01,  
	author       = { {KARAKURI} {I}nc. },  
	title        = { {KARAKURI} {LM} 8x7{B} {C}hat v0.1 },  
	year         = { 2024 },  
	url          = { https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1 },  
	publisher    = { Hugging Face },  
    journal      = { Hugging Face 仓库 }  
}