模型信息

语言支持:

• 英语
• 韩语 任务类型: 文本生成 推理支持: 否 标签:
• 脸书
• Meta
• PyTorch
• LLaMA
• LLaMA-2
• KoLLaMA
• LLaMA-2-韩语版

更新日志

• 2023.12.27
  • 新模型发布！仅使用可公开获取的韩语文本语料训练：https://huggingface.co/beomi/open-llama-2-ko-7b
• 2023.10.19
  • 修复transformers>=4.34.0版本后的分词器错误（解码时未应用空格）

LLaMA-2-韩语版 🦙🇰🇷

LLaMA-2-韩语版是LLaMA 2的进阶版本，通过扩展词汇表并加入韩语语料进行进一步预训练。与原版相同，LLaMA-2-韩语版涵盖从70亿到700亿参数的广泛生成文本模型范围。本仓库聚焦于适配Hugging Face Transformers格式的70亿参数预训练版本。其他模型请参阅下方索引。

模型详情

开发人员 李俊范（Beomi）

版本 LLaMA-2-韩语版将提供70亿、130亿和700亿参数规格，包括预训练和微调变体。

输入 仅接受文本输入。

输出 仅生成文本输出。

架构
LLaMA-2-韩语版是基于LLaMA-2优化的自回归语言模型，采用Transformer架构。

词汇扩展

例句分词对比："안녕하세요, 오늘은 날씨가 좋네요."

英文例句分词对比："Llama 2: Open Foundation and Fine-Tuned Chat Models"

模型基准测试

LM评估套件 - 韩语分支

• 使用EleutherAI的lm-evaluation-harness polyglot分支

NSMC（准确率）- 全量5万测试集

待补充

COPA（F1值）

（图表展示各模型在不同样本量下的表现）

HellaSwag（F1值）

（性能对比图表）

BoolQ（F1值）

（模型表现趋势图）

SentiNeg（F1值）

（情感分析任务对比）

text-generation-webui使用说明

需修改modules/models.py文件中load_tokenizer函数（约109行处），移除ValueError判断：

@@ -106,7 +106,7 @@
                 trust_remote_code=shared.args.trust_remote_code,
                 use_fast=False
             )
-        except ValueError:
+        except:

由于LLaMA-2-韩语版使用HF的FastTokenizer（非sentencepiece），初始化时必须设置use_fast=True。

注意：Apple Silicon芯片不支持BF16计算，需使用CPU模式（NVIDIA GPU可支持BF16）。

引用格式

@misc{l._junbum_2023,
  author       = {李俊范},
  title        = {llama-2-ko-7b (版本4a9993e)},
  year         = 2023,
  url          = {https://huggingface.co/beomi/llama-2-ko-7b},
  doi          = {10.57967/hf/1098},
  publisher    = {Hugging Face}
}

致谢

训练过程由TPU Research Cloud项目提供算力支持。

开放LLM排行榜评估结果

详细数据见这里