language:

• ko

library_name: transformers pipeline_tag: text-generation license: cc-by-nc-4.0

Synatra-7B-v0.3-RP🐧

支持作者

Synatra是个人项目，仅靠一人资源开发。若您喜欢这个模型，可否考虑赞助少许研究经费？

想成为赞助商？通过Telegram联系我 AlzarTakkarsen

许可协议

本模型严格限制于非商业用途(cc-by-nc-4.0)。 只要父级仓库中包含cc-by-nc-4.0许可且非商用条款不变，该"模型"（包括基础模型、衍生品、混合模型）可完全免费用于非商业目的，不受其他模型许可影响。新模型发布后许可可能变更。如需商用，请联系作者。

模型详情

基础模型
mistralai/Mistral-7B-Instruct-v0.1

训练设备
A6000 48GB * 8

指令格式

遵循ChatML格式。

开发计划

• 完成基于RP的调优模型 ✅
• 数据集清洗 ✅
• 提升语言理解能力
• 常识补充 ✅
• 更新分词器

模型性能评估

韩国大语言模型排行榜

评估中...

实现代码

由于chat_template已包含上述指令格式，您可以直接使用以下代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 模型加载设备

model = AutoModelForCausalLM.from_pretrained("maywell/Synatra-7B-v0.3-RP")
tokenizer = AutoTokenizer.from_pretrained("maywell/Synatra-7B-v0.3-RP")

messages = [
    {"role": "user", "content": "香蕉原本是白色的吗？"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

为何基准分数低于预览版？

显然，预览版使用无前缀的Alpaca风格提示词，而当前版本采用ChatML格式。

开放大模型排行榜评估结果

详细结果参见此处