🚀 阿耶波多（AryaBhatta）模型

本项目的阿耶波多（AryaBhatta）模型是阿耶波多 - 1和阿耶波多 - 2两个模型系列的一部分。该模型基于HuggingFaceH4/zephyr - 7b - gemma - v0.1或Google/gemma进行微调，在9种印度语言（印地语、泰米尔语、旁遮普语、孟加拉语、古吉拉特语、奥里亚语、泰卢固语、卡纳达语、马拉雅拉姆语）以及英语的语料上进行了优化训练。

🚀 快速开始

模型使用示例

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model = AutoPeftModelForCausalLM.from_pretrained(
    "GenVRadmin/AryaBhatta-GemmaOrca",
    load_in_4bit = False,
    token = hf_token
)
tokenizer = AutoTokenizer.from_pretrained("GenVRadmin/AryaBhatta-GemmaOrca")

input_prompt = """
### Instruction:
{}

### Input:
{}

### Response:
{}"""

input_text = input_prompt.format(
        "Answer this question about India.", # instruction
        "Who is the Prime Minister of India", # input
        "", # output - leave this blank for generation!
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]

✨ 主要特性

• 多语言支持：模型在9种印度语言和英语上进行微调，具备出色的多语言处理能力。
• 推理和数学能力提升：通过在微软Orca数据集上进行监督微调（SFT），显著提升了模型的推理和数学技能。
• 多数据集微调：除了Orca数据集，还在GenVR的Samvaad数据集以及多个开源数据集上进行了微调，增强了模型的泛化能力。

🔧 技术细节

模型基础

本项目有两个模型，一个基于Google的Gemma进行微调，另一个基于Zephyr的Gemma基础模型进行微调。另一个模型（Zephyr版本）的仓库地址为：GenVRadmin/AryaBhatta - GemmaOrca - 2 - Merged。

微调过程

1. Orca数据集微调：为了提高模型的推理和数学技能，首先在微软的Orca数据集上对Gemma进行监督微调（SFT）。使用了Orca数学印地语数据集（GenVRadmin/Aryabhatta - Orca - Maths - Hindi）和原始的Orca数学数据集（microsoft/orca - math - word - problems - 200k）。这使得模型的数学得分从Gemma - 7B的24.3提升到Zephyr - Gemma的25.5，以及GemmaOrca的31.6。
2. Samvaad数据集微调：模型随后在GenVR的Samvaad数据集（GenVRadmin/Samvaad - Indic - Positive、GenVRadmin/Samvaad - Tamil - Mixtral和GenVRadmin/Samvaad - Mixed - Language - 3的一个子集）上进行微调。
3. 开源数据集微调：最后，模型在多个开源数据集上进行微调，包括：
   • Telugu - LLM - Labs/yahma_alpaca_cleaned_telugu_filtered_and_romanized
   • Telugu - LLM - Labs/teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized
   • abhinand/tamil - alpaca
   • Tensoic/airoboros - 3.2_kn
   • Tensoic/gpt - teacher_kn
   • Tensoic/Alpaca - Gujarati
   • HydraIndicLM/bengali_alpaca_dolly_67k
   • Open - Orca/OpenOrca
   • pankajmathur/alpaca_orca
   • OdiaGenAI/Odia_Alpaca_instructions_52k
   • OdiaGenAI/gpt - teacher - roleplay - odia - 3k
   • GenVRadmin/Samvaad - Punjabi - Mini
   • pankajmathur/WizardLM_Orca

基准测试成绩

📄 许可证

本项目采用MIT许可证。