license: cc-by-sa-4.0

Synatra-10.7B-v0.4🐧

加入我们的Discord

服务器链接

许可证

"模型"（包括基础模型、衍生版本及合并/混合版本）在遵守以下条件时可完全免费用于非商业用途：任何父级仓库中包含的cc-by-sa-4.0许可证及非商业使用条款必须保留，不受其他模型许可证影响。

模型详情

基础模型
upstage/SOLAR-10.7B-v1.0

训练硬件
A100 80GB * 1

指令格式
遵循Alpaca格式。

模型基准测试

Ko-LLM排行榜

基准测试中...

实现代码

由于chat_template已包含上述指令格式，可直接使用以下代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 模型加载目标设备

model = AutoModelForCausalLM.from_pretrained("maywell/Synatra-10.7B-v0.4")
tokenizer = AutoTokenizer.from_pretrained("maywell/Synatra-10.7B-v0.4")

messages = [
    {"role": "user", "content": "香蕉原本是白色的吗？"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])