library_name: transformers language:

• ru
• en license: apache-2.0

旋风0.5*版本发布

在SFT阶段大幅增加了训练数据量，现在模型处理JSON格式和多轮对话时表现更稳定，同时对预训练模型参数进行了微调，并扩展了RoPE上下文窗口至32k。

新增了大量SFT训练数据，使模型在长上下文和复杂提示场景下（如JSON处理和多轮对话）表现更加稳定。

• [Google Colab] - 稍后上线
• GGUF格式
• EXL2格式

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model = AutoModelForCausalLM.from_pretrained("Vikhrmodels/it-5.3-fp16-32k",
                                             device_map="auto",
                                             attn_implementation="sdpa",
                                             torch_dtype=torch.bfloat16)

tokenizer = AutoTokenizer.from_pretrained("Vikhrmodels/it-5.3-fp16-32k")
from transformers import  AutoTokenizer, pipeline
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
prompts = [
    "水果和蔬菜有什么区别？",
    "柯尔莫哥洛夫的生卒年份是？"]

def test_inference(prompt):
    prompt = pipe.tokenizer.apply_chat_template([{"role": "user", "content": prompt}], tokenize=False, add_generation_prompt=True)
    print(prompt)
    outputs = pipe(prompt, max_new_tokens=512, do_sample=True, num_beams=1, temperature=0.25, top_k=50, top_p=0.98, eos_token_id=79097)
    return outputs[0]['generated_text'][len(prompt):].strip()


for prompt in prompts:
    print(f"    提示：\n{prompt}")
    print(f"    响应：\n{test_inference(prompt)}")
    print("-"*50)

@article{nikolich2024vikhr,
  title={Vikhr：面向俄语的开源指令调优大语言模型家族},
  author={亚历山大·尼科利奇 and 康斯坦丁·科罗廖夫 and 阿尔乔姆·谢尔马诺夫},
  journal={arXiv预印本 arXiv:2405.13929},
  year={2024},
  url={https://arxiv.org/pdf/2405.13929}
}