language:

• en
• ml license: llama2 base_model: abhinand/malayalam-llama-pt-v0 model-index:
• name: malayalam-llama-instruct-v0.1 results: []

马拉雅拉姆语LLaMA 7B指令微调版v0.1

欢迎使用马拉雅拉姆语LLaMA 7B指令模型的首次发布——这是推进马拉雅拉姆语大语言模型发展的重要一步。该模型可立即用于推理，也适合针对特定NLP任务进行进一步微调。

要深入了解该模型的开发过程与能力，请阅读研究论文和介绍性博客文章（撰写中），其中概述了我们的开发历程以及该模型的潜在影响。

注意： 本模型基于泰米尔语LLaMA系列模型开发。GitHub代码库保持不变：https://github.com/abhinand5/tamil-llama。基础模型及泰米尔语LLaMA v0.2（本工作所基于的版本）的更新代码即将发布。

如果您认可这项工作并希望支持持续开发，可以考虑请我喝杯咖啡。您的支持非常宝贵，我们深表感谢。

演示：

要使用无需编码的简易演示，请打开提供的Google Colab笔记本。完整使用说明已包含在笔记本中。

模型描述

马拉雅拉姆语LLaMA模型基于原始LLaMA-2框架，通过扩展约16,000个马拉雅拉姆语词汇进行了专门优化。

• 模型类型： 70亿参数GPT类模型，在约50万条英语和马拉雅拉姆语样本（比例均衡）上微调（数据集即将发布）
• 支持语言： 双语（英语和马拉雅拉姆语）
• 许可证： GNU通用公共许可证v3.0
• 微调基础模型： 即将发布
• 训练精度： bfloat16
• 代码库： GitHub（即将更新）

提示模板：ChatML

<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant

基准测试结果

使用LLM-Autoeval在RunPod平台的RTX 3090显卡上进行测试。

注意： Open LLM Leaderboard的评分与本地使用LM Eval Harness相同配置运行的结果存在差异。此处结果为自主测试所得。如需复现，可使用LLM-Autoeval工具或参照Open LLM Leaderboard关于页面的配置本地运行lm-evaluation-harness。

关联模型

使用示例

from transformers import LlamaForCausalLM, AutoTokenizer, pipeline

model = LlamaForCausalLM.from_pretrained(
    "abhinand/malayalam-llama-instruct-v0.1",
    #load_in_8bit=True, # 根据GPU配置设置此项
    torch_dtype=torch.bfloat16,
    device_map={"": 0}, # 根据GPU数量设置此项
    local_files_only=False # 可选参数
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained("abhinand/malayalam-llama-instruct-v0.1")

inf_pipeline = pipeline("conversational", model=model, tokenizer=tokenizer)


def format_instruction(system_prompt, question, return_dict=False):
	if system_prompt is None:
		messages = [
			{'content': question, 'role': 'user'},
		]
	else:
		messages = [
			{'content': system_prompt, 'role': 'system'},
			{'content': question, 'role': 'user'},
		]

	if return_dict:
		return messages

	prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

	return prompt


# 根据需求设置生成参数
temperature = 0.6
repetition_penalty = 1.1
max_new_tokens = 256

SYSTEM_PROMPT = "你是一个严格遵守指令的AI助手。请尽全力提供帮助。"
INPUT = "给出保持健康生活的3条建议"

instruction = format_instruction(
    system_prompt=SYSTEM_PROMPT,
    question=INPUT,
    return_dict=True,
)

output = inf_pipeline(
    instruction,
    temperature=temperature,
    max_new_tokens=max_new_tokens,
    repetition_penalty=repetition_penalty
)
print(output)

示例输出：

对话ID: d57cdf33-01ff-4328-8efe-5c4fefdd6e77
系统: 你是一个严格遵守指令的AI助手。请尽全力提供帮助。
用户: 给出保持健康生活的3条建议
助手: 1. 建立规律作息：保证每晚7-9小时睡眠，这对整体健康至关重要。
2. 定期锻炼：将运动纳入日常生活，即使是快走或简单拉伸。规律运动有助于减压、改善情绪和维持健康体重。
3. 均衡饮食：摄入全谷物、瘦肉蛋白、水果、蔬菜和健康脂肪。限制加工食品、含糖饮料和过量盐分摄入。

使用须知

需注意本模型尚未进行去毒/审查处理。虽然其具备出色的语言能力，但仍可能生成有害或冒犯性内容。我们强烈建议用户谨慎使用，特别是在公开或敏感场景中需密切监督模型输出。

开发团队

了解创新模型背后的创造者并关注他们在该领域的贡献：

• Abhinand Balachandran

引用

如在研究中使用本模型或任何泰米尔-LLaMA相关工作，请引用：

@misc{balachandran2023tamilllama,
      title={Tamil-Llama：基于Llama 2的新泰米尔语言模型}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我们希望这个模型能成为您NLP工具包中的有力工具，并期待看到它在泰米尔语理解与生成方面带来的进步。

开放LLM排行榜评估结果

详细结果请查阅此处