language:

• it license: cc-by-nc-4.0 tags:
• sft
• it
• mistral
• chatml
• axolotl
• kpo prompt_template: <|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant model-index:
• name: maestrale-chat-v0.3-beta results: []

麦斯特拉尔聊天测试版 ༄

由 @efederici 和 @mferraretto 开发

模型描述

• 语言模型: 基于Mistral-7b的意大利语模型，在精选的大规模高质量语料库上进行了意大利语持续预训练。
• 微调: 对对话/指令进行了三阶段的监督微调(SFT)。
• KTO: 采用KTO对齐方法。

v0.3版本特性

• 新增函数调用功能
• 精简默认系统提示以避免token浪费（预对齐阶段）

本模型使用ChatML提示格式：

<|im_start|>system
你是一个得力的助手。<|im_end|>
<|im_start|>user
{用户输入}<|im_end|>
<|im_start|>assistant

使用方法：

from transformers import (
    AutoTokenizer, 
    AutoModelForCausalLM, 
    GenerationConfig,
    TextStreamer
)
import torch

tokenizer = AutoTokenizer.from_pretrained("mii-llm/maestrale-chat-v0.3-beta")
model = AutoModelForCausalLM.from_pretrained("mii-llm/maestrale-chat-v0.3-beta", load_in_8bit=True, device_map="auto")

gen = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    repetition_penalty=1.2,
    top_k=50,
    top_p=0.95,
    max_new_tokens=500,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.convert_tokens_to_ids("<|im_end|>")
)

streamer = TextStreamer(tokenizer, skip_prompt=True)

messages = [
    {"role": "system", "content": "你是一个得力的助手。"},
    {"role": "user", "content": "{用户输入}"}
]

with torch.no_grad():
    temp = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = tokenizer(temp, return_tensors="pt").to("cuda")

    _ = model.generate(
        **inputs,
        streamer=streamer,
        generation_config=gen
    )

使用场景与限制

当前为测试版本，不具备安全防护机制。