许可证: 其他 许可证名称: gemma使用条款 许可证链接: https://ai.google.dev/gemma/terms 基础模型: google/gemma-7b 数据集:

• ravithejads/samvaad-hi-filtered
• Telugu-LLM-Labs/telugu_teknium_GPTeacher_general_instruct_filtered_romanized
• Telugu-LLM-Labs/telugu_alpaca_yahma_cleaned_filtered_romanized
• Telugu-LLM-Labs/sindhi_alpaca_yahma_cleaned_filtered
• Telugu-LLM-Labs/urdu_alpaca_yahma_cleaned_filtered
• Telugu-LLM-Labs/marathi_alpaca_yahma_cleaned_filtered
• Telugu-LLM-Labs/assamese_alpaca_yahma_cleaned_filtered
• Telugu-LLM-Labs/konkani_alpaca_yahma_cleaned_filtered
• Telugu-LLM-Labs/nepali_alpaca_yahma_cleaned_filtered
• abhinand/tamil-alpaca
• Tensoic/airoboros-3.2_kn
• Tensoic/gpt-teacher_kn
• VishnuPJ/Alpaca_Instruct_Malayalam
• Tensoic/Alpaca-Gujarati
• HydraIndicLM/punjabi_alpaca_52K
• HydraIndicLM/bengali_alpaca_dolly_67k
• OdiaGenAI/Odia_Alpaca_instructions_52k
• yahma/alpaca-cleaned 语言:
• te
• en
• ta
• ml
• mr
• hi
• kn
• sd
• ne
• ur
• as
• gu
• bn
• pa
• or 库名称: transformers 任务标签: 文本生成

Indic-gemma-7b-finetuned-sft-Navarasa-2.0

该模型基于google/gemma-7b，并在15种印度语言和英语的指令数据集上进行了LoRA微调：

1. 印地语 - ravithejads/samvaad-hi-filtered, HydraIndicLM/hindi_alpaca_dolly_67k(采样)

2. 泰卢固语 - Telugu-LLM-Labs/telugu_alpaca_yahma_cleaned_filtered_romanized, Telugu-LLM-Labs/telugu_teknium_GPTeacher_general_instruct_filtered_romanized

3. 马拉地语 - Telugu-LLM-Labs/sindhi_alpaca_yahma_cleaned_filtered

4. 乌尔都语 - Telugu-LLM-Labs/urdu_alpaca_yahma_cleaned_filtered

5. 阿萨姆语 - Telugu-LLM-Labs/assamese_alpaca_yahma_cleaned_filtered

6. 孔卡尼语 - Telugu-LLM-Labs/konkani_alpaca_yahma_cleaned_filtered

7. 尼泊尔语 - Telugu-LLM-Labs/nepali_alpaca_yahma_cleaned_filtered

8. 信德语 - Telugu-LLM-Labs/sindhi_alpaca_yahma_cleaned_filtered

9. 泰米尔语 - abhinand/tamil-alpaca

10. 卡纳达语 - Tensoic/airoboros-3.2_kn, Tensoic/gpt-teacher_kn

11. 马拉雅拉姆语 - VishnuPJ/Alpaca_Instruct_Malayalam

12. 古吉拉特语 - Tensoic/Alpaca-Gujarati

13. 旁遮普语 - HydraIndicLM/punjabi_alpaca_52K

14. 孟加拉语 - HydraIndicLM/bengali_alpaca_dolly_67k(alpaca过滤)

15. 奥里亚语 - OdiaGenAI/Odia_Alpaca_instructions_52k, OdiaGenAI/gpt-teacher-roleplay-odia-3k

16. 英语 - yahma/alpaca-cleaned

该模型使用unsloth库进行微调，并提供了使用相同库进行更快推理的代码。或者，您也可以使用HuggingFace库进行推理。

训练详情：

模型在约65万条指令样本上进行了训练。

1. GPU：1块A100，80GB
2. 时间：45小时
3. 平台：E2E Networks

安装

!pip install -U xformers --index-url https://download.pytorch.org/whl/cu121 !pip install "unsloth[kaggle-new] @git+https://github.com/unslothai/unsloth.git@nightly"

输入文本格式

### 指令: {instruction}

### 输入: {input}

## 响应: {response}

使用Unsloth进行推理

from unsloth import FastLanguageModel
import torch
max_seq_length = 2048
dtype = None # None表示自动检测。Tesla T4、V100使用Float16，Ampere+使用Bfloat16
load_in_4bit = False 
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Telugu-LLM-Labs/Indic-gemma-7b-finetuned-sft-Navarasa-2.0",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    device_map="auto"
)
FastLanguageModel.for_inference(model) # 启用原生2倍速推理

input_prompt = """
### 指令:
{}

### 输入:
{}

### 响应:
{}"""

input_text = input_prompt.format(
        "将以下句子翻译成印地语。", # 指令
        "印度是一个伟大的国家。", # 输入
        "", # 输出 - 留空以生成！
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)

使用HuggingFace进行推理

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "Telugu-LLM-Labs/Indic-gemma-7b-finetuned-sft-Navarasa-2.0",
    load_in_4bit = False,
    token = hf_token
)
model.to("cuda")

tokenizer = AutoTokenizer.from_pretrained("Telugu-LLM-Labs/Indic-gemma-7b-finetuned-sft-Navarasa-2.0")

input_prompt = """
### 指令:
{}

### 输入:
{}

### 响应:
{}"""

input_text = input_prompt.format(
        "将以下句子翻译成印地语。", # 指令
        "印度是一个伟大的国家。", # 输入
        "", # 输出 - 留空以生成！
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]

参考博客文章获取示例。

请查看我们的代码仓库获取训练和推理脚本。

开发者：

该模型是Ravi Theja和Ramsri Goutham的合作成果。如有任何问题，欢迎私信我们中的任何一位。