🚀 Komodo-7B-Base模型卡片

Komodo-7B-Base是一个大型语言模型，它在Llama-2-7B-Base的基础上通过增量预训练和词汇扩展开发而来。该模型可以处理印尼语、英语和11种印尼地区语言。

免责声明：这不是一个经过指令微调的模型，下游任务需要进一步微调。例如，人们通常会利用Alpaca数据集在Llama-2-7B-Base模型的基础上进行进一步微调。因此，该模型没有提示模板。

🚀 快速开始

由于这是一个受保护的模型，在使用模型之前，你需要登录到你的Hugging Face（HF）账户。以下是一种实现方法，你可以从你的个人资料中获取HF令牌（个人资料 -> 设置 -> 访问令牌）：

import huggingface_hub
huggingface_hub.login("YOUR_HF_TOKEN")

登录后，你可以开始下载并加载模型和分词器。我们为Komodo-7B编写了一个自定义解码函数，因此需要传递trust_remote_code=True。即使不使用此参数，代码也能运行，但解码过程可能无法达到预期效果。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda:0" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = model.to(device)

然后，你可以尝试使用该模型：

full_prompt = "Candi borobudur adalah"

tokens = tokenizer(full_prompt, return_tensors="pt").to(device)
output = model.generate(tokens["input_ids"], eos_token_id=tokenizer.eos_token_id)

print(tokenizer.decode(output[0], skip_special_tokens=True))
# Candi borobudur adalah candi yang terletak di Magelang, Jawa Tengah.

✨ 主要特性

• 多语言支持：能够处理英语、印尼语以及11种印尼地区语言，包括亚齐语、巴厘语、班查尔语、布吉斯语、马都拉语、米南加保语、爪哇语、达雅克恩加朱语、巽他语、多巴巴塔克语、楠榜语。
• 基于Llama-2：在Llama-2-7B-Base的基础上进行增量预训练和词汇扩展。

📦 安装指南

由于这是一个受保护的模型，在使用模型之前，你需要登录到你的Hugging Face（HF）账户。以下是一种实现方法，你可以从你的个人资料中获取HF令牌（个人资料 -> 设置 -> 访问令牌）：

import huggingface_hub
huggingface_hub.login("YOUR_HF_TOKEN")

登录后，你可以开始下载并加载模型和分词器。我们为Komodo-7B编写了一个自定义解码函数，因此需要传递trust_remote_code=True。即使不使用此参数，代码也能运行，但解码过程可能无法达到预期效果。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda:0" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = model.to(device)

💻 使用示例

基础用法

由于这是一个受保护的模型，你需要登录到你的HF账户才能使用该模型。以下是登录的方法，你可以从你的个人资料中获取HF令牌（个人资料 -> 设置 -> 访问令牌）：

import huggingface_hub
huggingface_hub.login("YOUR_HF_TOKEN")

登录后，你可以下载并加载模型和分词器。由于我们为Komodo-7B编写了自定义解码函数，所以需要传递trust_remote_code=True。即使不使用此参数，代码也能运行，但解码过程可能无法达到预期效果。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda:0" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = model.to(device)

之后，你就可以尝试使用该模型：

full_prompt = "Candi borobudur adalah"

tokens = tokenizer(full_prompt, return_tensors="pt").to(device)
output = model.generate(tokens["input_ids"], eos_token_id=tokenizer.eos_token_id)

print(tokenizer.decode(output[0], skip_special_tokens=True))
# Candi borobudur adalah candi yang terletak di Magelang, Jawa Tengah.

高级用法

暂无高级用法示例。

📚 详细文档

更多详细信息可查看我们的论文：https://arxiv.org/abs/2403.09362

模型详情

模型描述

• 开发者：Yellow.ai
• 模型类型：解码器
• 支持语言：英语、印尼语、亚齐语、巴厘语、班查尔语、布吉斯语、马都拉语、米南加保语、爪哇语、达雅克恩加朱语、巽他语、多巴巴塔克语、楠榜语
• 许可证：llama2

评估与结果

请注意，以下基准测试值基于我们的SFT模型Komodo-7B-Instruct，而此处我们仅发布了基础模型Komodo-7B-base。

基础设施

🔧 技术细节

模型架构和目标

Komodo-7B是一个使用Llama-2架构的解码器模型。

分词器详情

认识到语言多样性的重要性，我们专注于提高我们的语言模型在印尼语和地区语言方面的能力。为此，我们通过识别并纳入大约2000个印尼语常用词和1000个Llama-2模型中缺失的地区语言词汇，系统地扩展了分词器的词汇量。

增强词汇量的标准方法通常是开发一个新的分词器并将其与现有分词器集成。这种技术在Chinese-LLaMA和Open-Hathi等项目中取得了显著成果。这种策略的有效性归因于中文和印地语等语言与英语之间的显著语言差异。相比之下，印尼语使用与英语相同的拉丁字母，这带来了不同的挑战。

我们测试了传统方法以及一种新方法，即纳入印尼语词汇中排名前n的单词（而非标记）。我们发现，通过添加约3000个新词汇，新方法可以获得更好的生成得分。添加超过3000个单词并不会显著提高生成得分，但会增加嵌入矩阵的大小，导致训练时间延长。

训练数据

更多详细信息可查看我们的论文：https://arxiv.org/abs/2403.09362

训练过程

更多详细信息可查看我们的论文：https://arxiv.org/abs/2403.09362

预处理

更多详细信息可查看我们的论文：https://arxiv.org/abs/2403.09362

📄 许可证

本模型使用llama2许可证。

引用

@misc{owen2024komodo,
      title={Komodo: A Linguistic Expedition into Indonesia's Regional Languages}, 
      author={Louis Owen and Vishesh Tripathi and Abhay Kumar and Biddwan Ahmed},
      year={2024},
      eprint={2403.09362},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型卡片作者

• Louis Owen
• Vishesh Tripathi
• Abhay Kumar
• Biddwan Ahmed