许可证：cc-by-nc-sa-4.0
语言：

• 马其顿语
• 英语
  标签：
• axolotl

MKLLM-7B-Instruct

MKLLM-7B 是一款面向马其顿语的开源大语言模型。该模型基于出色的 Mistral-7B-v0.1 模型，通过持续预训练马其顿语和英语混合文本构建而成。训练使用了约 3 亿 token 的语料库（重复 2 个周期），尽管与其他类似项目相比规模较小，但最终模型在马其顿语理解和处理方面表现卓越。

此为 MKLLM-7B 的指令调优版本。我们在 MKLLM-7B 基础上，采用 chatml 对话格式，通过 axolotl 工具完成了全量指令训练。

我们将模型与 Meta 的 Llama3-8B-Instruct 和 Mistral 的 Mistral-7B-Instruct-v0.3 在翻译成马其顿语的基准测试集上对比，结果显示本模型性能优于同类别中的这两款领先模型。
需注意的是，这些基准主要评估理解能力而非生成流畅度。在文本生成连贯性方面，我们认为 MKLLM-7B-Instruct 的马其顿语输出质量优势更为显著。
测试工具：https://github.com/N13T/mk-llm-eval

使用指令调优功能时，提示词需遵循 chatml 格式：

<|im_start|>system  
人工智能助手与好奇用户之间的对话。助手需对用户问题提供有用、详尽且礼貌的回答。<|im_end|>  
<|im_start|>user  
哪颗行星被称为"红色星球"？<|im_end|>  
<|im_start|>assistant  
火星<|im_end|>  

该提示模板已支持 聊天模板化，可通过 tokenizer.apply_chat_template() 方法格式化消息：

messages = [  
    {"role": "system", "content": "人工智能助手与好奇用户之间的对话。助手需对用户问题提供有用、详尽且礼貌的回答。"},  
    {"role": "user", "content": "哪颗行星被称为'红色星球'？"}  
]  
gen_input = tokenizer.apply_chat_template(messages,   
                                          tokenize=True,  
                                          return_dict=True,  
                                          return_tensors="pt",  
                                          add_generation_prompt=True).to("cuda")  
with torch.no_grad():  
  generated_ids = model.generate(**gen_input, max_new_tokens=150,  
                                                do_sample=True,  
                                                temperature=0.1,  
                                                repetition_penalty=1.1,  
                                 )  
print(tokenizer.decode(generated_ids[0][prompt["input_ids"].shape[1]:], skip_special_tokens=False))  

注意事项

• MKLLM-7B-Instruct 可能出现幻觉并生成事实性错误输出，尤其在涉及马其顿语主题时（受限于较小训练数据集）。