许可协议：apache-2.0
基础模型：microsoft/phi-2
标签：

• generated_from_trainer
  模型索引：
• 名称：yanolja/EEVE-Korean-2.8B-v1.0
  结果：[]

EEVE-Korean-2.8B-v1.0

加入我们的Discord社区！

如果您对大型语言模型领域充满热情，并希望交流知识和见解，我们诚挚邀请您加入我们的Discord服务器。请注意，该服务器主要使用韩语进行交流。LLM领域正在快速发展，如果不积极分享，我们的集体知识可能会迅速过时。让我们携手合作，共同创造更大的影响！点击此处加入：Discord链接。

我们的专业团队（按字母顺序排列）

关于模型

本模型是基于microsoft/phi-2的韩语词汇扩展版本，专门针对HuggingFace上各种韩语网络爬取数据集进行了微调。我们的方法是通过预训练新词元的嵌入，并部分微调已有词元的lm_head嵌入，同时保留基础模型的原始参数，从而扩展模型对韩语的理解。

技术深度解析

为了将基础模型从英语适应到韩语，我们采用了基于子词的嵌入方法，通过七个阶段的参数冻结训练过程。
该方法从输入嵌入逐步训练到完整参数，有效扩展了模型的词汇量以包含韩语。
我们的方法通过精心整合新的语言词元，专注于因果语言建模预训练，增强了模型的跨语言适用性。
我们利用在英语上训练的基础模型的固有能力，高效地将知识和推理能力迁移到韩语，优化了适应过程。

更多详情，请参阅我们的技术报告：高效且有效的词汇扩展：迈向多语言大型语言模型。

以下是我们的关键方法的简化代码：

# number_of_old_tokens是词汇扩展前的分词器大小。例如，对于EEVE-Korean-10.8B-v1.0，number_of_old_tokens为32000。  
def freeze_partial_embedding_hook(grad):  
    grad[:number_of_old_tokens] = 0  
    return grad  

for name, param in model.named_parameters():  
    if ("lm_head" in name or "embed_tokens" in name) and "original" not in name:  
        param.requires_grad = True  
        if "embed_tokens" in name:  
            param.register_hook(freeze_partial_embedding_hook)  
    else:  
        param.requires_grad = False  

使用与限制

请注意，此模型尚未经过基于指令的微调。尽管它在韩语任务中表现出色，但我们建议在特定应用中谨慎考虑并进行进一步训练。

训练详情

我们的模型训练全面且多样：

• 词汇扩展：
  我们根据韩语网络语料库中的频率精心挑选了8,960个韩语词元。这一过程包括多轮分词器训练、手动筛选和词元频率分析，确保模型拥有丰富且相关的韩语词汇。

  1. 初始分词器训练： 我们在韩语网络语料库上训练了一个中间分词器，词汇量为40,000个词元。

  2. 提取新韩语词元： 从中间分词器中，我们识别出所有原始SOLAR分词器中不存在的韩语词元。

  3. 手动构建目标分词器： 我们随后构建了目标分词器，重点关注这些新的韩语词元。

  4. 频率分析： 使用目标分词器，我们处理了一个100GB的韩语语料库，统计每个词元的频率。

  5. 词元列表优化： 我们移除了出现次数少于6,000次的词元，确保后续模型训练有足够的词元。

  6. 包含单字母字符： 统计缺失的韩语单字母字符，并将出现次数超过6,000次的添加到目标分词器中。

  7. 迭代优化： 我们重复步骤2至6，直到没有词元需要移除或添加。

  8. 偏向新词元的训练： 我们的训练数据偏向包含更多新词元的文本，以实现有效学习。

这一严谨的方法确保了模型拥有全面且上下文丰富的韩语词汇。

引用

@misc{kim2024efficient,  
      title={Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models},   
      author={Seungduk Kim and Seungtaek Choi and Myeongho Jeong},  
      year={2024},  
      eprint={2402.14714},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}