🚀 INSAIT-Institute/BgGPT-7B-Instruct-v0.1

BgGPT-7B是一款基于保加利亚语的模型，它在保加利亚语处理方面表现出色，为保加利亚语相关的应用场景提供了有力支持。

BgGPT-7B是基于mistralai/Mistral-7B-v0.1训练的保加利亚语模型，该模型遵循Apache 2.0许可协议进行分发。

此模型由保加利亚索非亚大学旗下的INSAIT Institute创建。

✨ 主要特性

模型描述

该模型通过使用多个数据集进行微调，以提高其保加利亚语能力，这些数据集包括保加利亚网络爬取数据、INSAIT Institute提供的一系列保加利亚专业数据集，以及流行英语数据集的机器翻译数据。为了保留英语和逻辑推理能力，保加利亚语数据中还加入了英语数据集。

模型的分词器进行了扩展，以便更高效地对用西里尔字母书写的保加利亚语单词进行编码，这不仅提高了西里尔文本的处理速度，还提升了性能。

指令格式

为了利用指令微调，你的提示应该用[INST]和[/INST]标记包围。第一条指令应以句子开始标记<s>开头，后续指令则不需要。助手生成的内容将以句子结束标记结束。

例如：

text = "<s>[INST] –ö–æ–≥–∞ –µ –æ—Å–Ω–æ–≤–∞–Ω –°–æ—Ñ–∏–π—Å–∫–∏—è—Ç —É–Ω–∏–≤–µ—Ä—Å–∏—Ç–µ—Ç? [/INST]"
"Софийският университет „Св. Климент Охридски“ е създаден на 1 октомври 1888 г.</s> "
"[INST] –ö–æ–π –≥–æ –µ –æ—Å–Ω–æ–≤–∞–ª? [/INST]"

这种格式可以通过apply_chat_template()方法作为聊天模板使用。

基准测试

该模型附带了一组基准测试，这些测试是相应英语基准测试的翻译版本，可在https://github.com/insait-institute/lm-evaluation-harness-bg查看。

总结

📦 安装指南

在Transformers中使用

首先安装直接依赖项：

pip install transformers torch accelerate

如果你想使用flash-attention2进行更快的推理，需要安装以下依赖项：

pip install packaging ninja
pip install flash-attn

然后在transformers中加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model = AutoModelForCausalLM.from_pretrained(
    model="INSAIT-Institute/BgGPT-7B-Instruct-v0.1",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_flash_attn_2=True # 可选
)

使用GGML / llama.cpp

GGUF格式的模型可在INSAIT-Institute/BgGPT-7B-Instruct-v0.1-GGUF获取。

📄 许可证

该模型遵循Apache 2.0许可协议。