Irbis 7b V0.1

🚀 Irbis-7B

Irbis-7B是一个基于Transformer架构的语言模型，专为哈萨克语进行了适配。它能够有效处理哈萨克语相关的文本生成任务，在哈萨克语处理方面有着显著优势。

🚀 快速开始

试用代码

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

model_name = "Gen2B/Irbis-7b-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    return_dict=True,
    torch_dtype=torch.float16,
    device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Сұрақ: Шөп неге жасыл?\nЖауап: "

input_ids = tokenizer([prompt], return_tensors = "pt")["input_ids"].to("cuda")

generation_config = GenerationConfig(
    temperature=0.6,
    repetition_penalty=1.15
)
print("Generating...")
generation_output = model.generate(
    input_ids=input_ids,
    generation_config=generation_config,
    return_dict_in_generate=True,
    output_scores=True,
    max_new_tokens=2048,
    pad_token_id=tokenizer.eos_token_id,
)
for s in generation_output.sequences:
    print(tokenizer.decode(s)) # Өсімдіктер ауасыз өмір сүре алмайды, сондықтан олар жасыл түсті болады.

✨ 主要特性

• 优化的分词器：分词器的词汇表从32k扩展到了60k个标记，包含了更多哈萨克语词汇，显著提升了哈萨克语的分词效率。
• 预训练优势：该模型在20GB主要为哈萨克语、少量为俄语的文本上进行了预训练，以适配新的分词器。

综合这些特性，与其他开源模型相比，Irbis-7B在处理哈萨克语时表现出了更好的性能。新的分词器使文本生成速度提高了3 - 4倍，同时也优化了上下文窗口的填充。

📚 详细文档

更多详细信息可阅读文章。

📄 许可证

本项目采用MIT许可证。

模型相关信息