language:

• ko pipeline_tag: text-generation tags:
• finetune

mistral-7b-wiki 模型卡

这是基于mistral-7b模型使用韩语进行微调的版本

模型详情

• 开发团队 : shleeeee(李承贤) , oopsung(朴成宇)
• 代码仓库 : 即将添加
• 模型架构 : mistral-7b-wiki是Mistral-7B-v0.1的微调版本
• Lora目标模块 : q_proj, k_proj, v_proj, o_proj,gate_proj
• 训练批次 : 2
• 最大步数 : 500

训练数据

韩语定制数据集

提示模板(Mistral格式)

<s>[INST]{['指令']}[/INST]{['输出']}</s>

使用方式

# 直接加载模型
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("shleeeee/mistral-7b-wiki")
model = AutoModelForCausalLM.from_pretrained("shleeeee/mistral-7b-wiki")

# 使用高级pipeline工具
from transformers import pipeline

pipe = pipeline("text-generation", model="shleeeee/mistral-7b-wiki")

评估结果