语言:

• 英语
• 印地语 许可证: llama2 标签:
• 多语言
• 指令微调
• llama2 数据集:
• ai4bharat/indic-instruct-data-v0.1 模型索引:
• 名称: Airavata 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛(25样本) 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 46.5 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=ai4bharat/Airavata 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag(10样本) 类型: hellaswag 分割: 验证集 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 69.26 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=ai4bharat/Airavata 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU(5样本) 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 43.9 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=ai4bharat/Airavata 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA(0样本) 类型: truthful_qa 配置: 多项选择 分割: 验证集 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 40.62 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=ai4bharat/Airavata 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande(5样本) 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 68.82 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=ai4bharat/Airavata 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k(5样本) 类型: gsm8k 配置: 主要 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 4.02 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=ai4bharat/Airavata 名称: 开放LLM排行榜

艾拉瓦塔模型

本模型是基于7B参数的OpenHathi模型，在IndicInstruct数据集上微调而成。该数据集是多个指令数据集的集合(包括Anudesh、wikiHow、Flan v2、Dolly、Anthropic-HHH、OpenAssistant v1和LymSys-Chat)。更多详情请参阅相应的HuggingFace数据集卡片。

本模型是技术报告《艾拉瓦塔：印地语指令微调大语言模型》的研究成果。训练和评估该模型的代码库可在https://github.com/AI4Bharat/IndicInstruct找到。

使用方法

克隆https://github.com/AI4Bharat/IndicInstruct并安装所需依赖。然后将本模型下载或克隆至同一台机器。

输入格式

模型训练采用类似open-instruct代码库的对话格式(注意换行符):

<|用户|>
您的消息在这里!
<|助手|>

为获得最佳效果，请按此格式组织所有输入。确保在<|助手|>后包含换行符，这对生成质量影响显著。

超参数

我们使用LoRA对上述OpenHathi基础模型进行微调。LoRA微调的超参数如下:

• LoRA秩: 16
• LoRA alpha: 32
• LoRA丢弃率: 0.05
• LoRA目标模块: ["q_proj", "v_proj", "k_proj", "down_proj", "gate_proj", "up_proj"]
• 训练轮次: 4
• 学习率: 5e-4
• 批量大小: 128
• 浮点精度: bfloat16

建议读者查阅我们的官方博客文章获取关于模型训练、消融实验和评估结果的更多细节。

示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda" if torch.cuda.is_available() else "cpu"


def create_prompt_with_chat_format(messages, bos="<s>", eos="</s>", add_bos=True):
    formatted_text = ""
    for message in messages:
        if message["role"] == "system":
            formatted_text += "<|system|>\n" + message["content"] + "\n"
        elif message["role"] == "user":
            formatted_text += "<|user|>\n" + message["content"] + "\n"
        elif message["role"] == "assistant":
            formatted_text += "<|assistant|>\n" + message["content"].strip() + eos + "\n"
        else:
            raise ValueError(
                "Tulu聊天模板仅支持'system'、'user'和'assistant'角色。无效角色: {}。".format(
                    message["role"]
                )
            )
    formatted_text += "<|assistant|>\n"
    formatted_text = bos + formatted_text if add_bos else formatted_text
    return formatted_text


def inference(input_prompts, model, tokenizer):
    input_prompts = [
        create_prompt_with_chat_format([{"role": "user", "content": input_prompt}], add_bos=False)
        for input_prompt in input_prompts
    ]

    encodings = tokenizer(input_prompts, padding=True, return_tensors="pt")
    encodings = encodings.to(device)

    with torch.inference_mode():
        outputs = model.generate(encodings.input_ids, do_sample=False, max_new_tokens=250)

    output_texts = tokenizer.batch_decode(outputs.detach(), skip_special_tokens=True)

    input_prompts = [
        tokenizer.decode(tokenizer.encode(input_prompt), skip_special_tokens=True) for input_prompt in input_prompts
    ]
    output_texts = [output_text[len(input_prompt) :] for input_prompt, output_text in zip(input_prompts, output_texts)]
    return output_texts


model_name = "ai4bharat/Airavata"

tokenizer = AutoTokenizer.from_pretrained(model_name, padding_side="left")
tokenizer.pad_token = tokenizer.eos_token
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16).to(device)

input_prompts = [
    "如何提高我的时间管理技能？请给出五点建议。",
    "如何提高我的时间管理技能？请给出五点建议并详细说明。",
]
outputs = inference(input_prompts, model, tokenizer)
print(outputs)

引用

@article{gala2024airavata,
  title   = {艾拉瓦塔：印地语指令微调大语言模型},
  author  = {Jay Gala and Thanmay Jayakumar and Jaavid Aktar Husain and Aswanth Kumar M and Mohammed Safi Ur Rahman Khan and Diptesh Kanojia and Ratish Puduppully and Mitesh M. Khapra and Raj Dabre and Rudra Murthy and Anoop Kunchukuttan},
  year    = {2024},
  journal = {arXiv预印本 arXiv: 2401.15006}
}

开放LLM排行榜评估结果

详细结果参见此处