license: cc-by-sa-4.0

koOpenChat-sft🐧

支持我

Sinatora是个人项目，仅由一人资源开发。若您喜欢这个模型，可否考虑赞助少许研究经费？

想成为赞助者？(恳请)通过Telegram联系我 AlzarTakkarsen

模型详情

基础模型
OpenChat3.5

训练设备
A100 80GB * 1

指令格式
遵循ChatML格式及**Alpaca(无输入)**格式。

模型基准测试

暂无

实现代码

由于chat_template已包含上述指令格式，您可直接使用以下代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 模型加载目标设备

model = AutoModelForCausalLM.from_pretrained("maywell/koOpenChat-sft")
tokenizer = AutoTokenizer.from_pretrained("maywell/koOpenChat-sft")

messages = [
    {"role": "user", "content": "香蕉原本是白色的吗？"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

开放大模型排行榜评估结果

详细结果参见此处