license: other datasets:

• vietgpt/wikipedia_vi
• wikipedia
• pg19
• mc4 language:
• vi
• en

我们采用SentencePiece重新训练了一个词汇量为2万的越南语分词器，未使用越南语分词技术。随后将该词表与Llama2原词表进行合并，并去除重复标记。新分词器在编码越南语文本时效率显著提升，相比ChatGPT减少50%的标记数量，较原始Llama2减少约70%。

基于Llama2-chat 7B模型，我们在总计40.5GB的混合数据集上进行了单轮持续预训练（增量预训练），数据构成包括：

• 19GB 新闻语料库
• 1.1GB 越南语维基百科
• 1.6GB 越南语书籍
• 4.5GB 越南法律文档（自主爬取自thuvienphapluat并处理）
• 2.1GB 越南法律文本（源自C4-vi）
• 1.1GB 英文书籍（采样自pg19）
• 1.1GB 英文维基百科（采样自20220301.en版本）
• 10GB 英文文本（采样自C4-en）

模型在DGX A100系统上使用4块A100显卡训练10天（约1000 GPU小时）。

核心超参数配置：

• 训练模式：BFloat16混合精度

• LoRA配置：

  {
    "base_model_name_or_path": "meta-llama/Llama-2-7b-chat-hf",
    "bias": "none",
    "enable_lora": null,
    "fan_in_fan_out": false,
    "inference_mode": true,
    "lora_alpha": 32.0,
    "lora_dropout": 0.05,
    "merge_weights": false,
    "modules_to_save": [
      "embed_tokens",
      "lm_head"
    ],
    "peft_type": "LORA",
    "r": 8,
    "target_modules": [
      "q_proj",
      "v_proj",
      "k_proj",
      "o_proj",
      "gate_proj",
      "down_proj",
      "up_proj"
    ],
    "task_type": "CAUSAL_LM"
  }
  

我们同时提供LoRA模块便于用户自行与原始Llama2-chat-7b集成。

请注意：该模型需经过监督微调(SFT)后方可实际应用！

使用指南请参考Llama 2官方文档。

训练损失曲线：

免责声明

本项目基于Meta的Llama-2模型构建，使用时须严格遵守Llama-2开源许可协议。若涉及第三方代码，请确保符合对应开源许可要求。需特别说明的是，模型输出可能受计算方法、随机因素及量化误差等因素影响，本项目不对模型输出的准确性作任何担保，也不承担因使用模型资源及其产出导致的任何责任。商业用途开发者须确保模型输出内容符合当地法律法规，本项目不对此类应用产生的产品或服务负责。

致谢

衷心感谢PHPC-维新大学及NVIDIA提供的算力支持，同时感谢binhvq等研究者对越南语语料库的收集整理工作。

若使用本数据集请引用我们的论文

  @article{duc2024towards,
    title={面向全面的越南语检索增强生成与大语言模型研究},
    author={阮光德, 黎海山, 阮德智, 阮迪明, 黎清华, 丁越桑},
    journal={arXiv预印本 arXiv:2403.01616},
    year={2024}
  }