base_model: abhinand/dr-llama-ta-instruct-v0 model-index:

• name: tamil-llama-instruct-v0.2 results: [] license: llama2 language:
• en
• ta

泰米尔LLaMA 7B指导模型v0.2

欢迎来到泰米尔LLaMA 7B指导模型的首发版本——这是推动泰米尔语言大模型发展的重要一步。该模型已准备好立即进行推理，也可进一步微调以满足您的特定自然语言处理任务需求。

要深入了解该模型的开发过程及其能力，请阅读研究论文和介绍性博客文章（待发布），其中概述了我们的开发历程及该模型的潜在影响。

注意： 此模型基于泰米尔LLaMA系列模型。GitHub仓库保持不变 - https://github.com/abhinand5/tamil-llama。基础模型及泰米尔LLaMA v0.2（本工作所基于的版本）的更新代码将很快发布。

如果您欣赏这项工作并希望支持其持续发展，请考虑请我喝杯咖啡。您的支持非常宝贵，我们深表感谢。

演示：

要访问一个易于使用的无代码演示，请打开提供的Google Colab笔记本。完整的使用说明包含在笔记本中。

模型描述

泰米尔LLaMA模型在原始LLaMA-2的基础上进行了增强和定制，特别增加了约16,000个泰米尔词汇。

• 模型类型： 一个70亿参数的类GPT模型，在约50万条英语和泰米尔样本（各占一半比例）上进行了微调。（数据集将很快发布）
• 语言： 双语。英语和泰米尔。
• 许可证： GNU通用公共许可证v3.0
• 微调自模型： 即将发布
• 训练精度： bfloat16
• 代码： GitHub（即将更新）

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

基准测试结果

基准测试使用LLM-Autoeval在RTX 3090上通过runpod完成。

注意： 请注意，Open LLM排行榜的分数与使用相同配置的LM Eval Harness本地运行结果之间存在差异。此处提到的结果基于我们自己的基准测试。要复现这些发现，您可以使用LLM-Autoeval或按照Open LLM排行榜“关于”页面中描述的配置在本地使用lm-evaluation-harness。

相关模型

示例用法

from transformers import LlamaForCausalLM, AutoTokenizer, pipeline

model = LlamaForCausalLM.from_pretrained(
    "abhinand/tamil-llama-instruct-v0.2",
    #load_in_8bit=True, # 根据您的GPU设置此项
    torch_dtype=torch.bfloat16,
    device_map={"": 0}, # 根据您的GPU数量设置此项
    local_files_only=False # 可选
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained("abhinand/tamil-llama-instruct-v0.2")

inf_pipeline = pipeline("conversational", model=model, tokenizer=tokenizer)


def format_instruction(system_prompt, question, return_dict=False):
	if system_prompt is None:
		messages = [
			{'content': question, 'role': 'user'},
		]
	else:
		messages = [
			{'content': system_prompt, 'role': 'system'},
			{'content': question, 'role': 'user'},
		]

	if return_dict:
		return messages

	prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

	return prompt


# 根据您的需求设置生成配置
temperature = 0.6
repetition_penalty = 1.1
max_new_tokens = 256

SYSTEM_PROMPT = "您是一个AI助手，能够非常好地遵循指令。请尽力提供帮助。"
INPUT = "您能解释泰米尔节日Pongal的意义吗？"

instruction = format_instruction(
    system_prompt=SYSTEM_PROMPT,
    question=INPUT,
    return_dict=True,
)

output = inf_pipeline(
    instruction,
    temperature=temperature,
    max_new_tokens=max_new_tokens,
    repetition_penalty=repetition_penalty
)
print(output)

示例输出：

对话ID: d57cdf33-01ff-4328-8efe-5c4fefdd6e77
system: 您是一个AI助手，能够非常好地遵循指令。请尽力提供帮助。
user: 您能解释泰米尔节日Pongal的意义吗？
assistant: Pongal是泰米尔纳德邦和印度南部其他地区庆祝的一个重要丰收节日。它标志着雨季的结束和农业年的开始。这个节日主要是为了感恩自然，特别是太阳神苏利耶赐予的丰饶礼物，如农业和健康。人们向在农业中发挥重要作用的牛以及他们的家人祈祷，感谢他们在收获季节的持续支持。这个节日以各种丰富多彩的活动为标志，包括准备传统的Pongal菜肴，如用牛奶、甘蔗和香蕉煮的米饭，随后交换礼物并在家人和朋友之间庆祝。这也是一个团结的时刻，加强了社区中人们之间的联系。

使用说明

需要注意的是，这些模型尚未经过去毒/审查处理。因此，尽管它们具有令人印象深刻的语言能力，但仍有可能生成被认为有害或冒犯的内容。我们敦促用户谨慎行事，并密切监督模型的输出，特别是在公共或敏感应用中。

认识开发者

了解这一创新模型背后的创造者，并关注他们在该领域的贡献：

• Abhinand Balachandran

引用

如果您在研究中使用了此模型或任何与泰米尔-Llama相关的工作，请引用：

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我们希望这个模型能成为您自然语言处理工具包中的宝贵工具，并期待看到它在理解和生成泰米尔语言方面带来的进步。