language:

• kk
• ru
• en license: mit library_name: transformers pipeline_tag: text-generation

Irbis-7B

Irbis-7B 是基于Transformer架构的语言模型，专为哈萨克语优化设计。

• 增强的分词器 - 分词器词汇表从32K扩展到60K，包含更多哈萨克语词汇，显著提升了哈萨克语的分词效率。
• 预训练过程 - 模型使用20GB以哈萨克语为主（含少量俄语）的文本数据进行了预训练，并适配了新分词器。

该模型在哈萨克语处理质量上显著优于其他开源模型。新分词器使文本生成速度提升3-4倍，同时优化了上下文窗口的填充效率。更多技术细节可参阅这篇文章。

快速体验

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

model_name = "Gen2B/Irbis-7b-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    return_dict=True,
    torch_dtype=torch.float16,
    device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "问题：为什么草是绿色的？\n回答："

input_ids = tokenizer([prompt], return_tensors = "pt")["input_ids"].to("cuda")

generation_config = GenerationConfig(
    temperature=0.6,
    repetition_penalty=1.15
)
print("生成中...")
generation_output = model.generate(
    input_ids=input_ids,
    generation_config=generation_config,
    return_dict_in_generate=True,
    output_scores=True,
    max_new_tokens=2048,
    pad_token_id=tokenizer.eos_token_id,
)
for s in generation_output.sequences:
    print(tokenizer.decode(s)) # 植物无法在没有空气的情况下生存，因此它们呈现绿色。