🚀 Llama-2-Ko-Chat 🦙🇰🇷

Llama-2-Ko-Chat是基于Transformer架构的文本生成模型，它以beomi/llama-2-ko-7b为基础进行训练，能够为用户提供高质量的文本生成服务，在多种文本生成任务中表现出色。

🚀 快速开始

Llama-2-Ko-7b-Chat基于beomi/llama-2-ko-7b 40B构建。训练数据来自nlpai-lab/kullm-v2。目前该模型仍在训练中，后续会根据beomi/llama-2-ko-7b的更新进行进一步训练。此模型是基于Naver BoostCamp NLP-08项目开发的。

项目链接：LLaMA

✨ 主要特性

模型详情

模型对比

问题：生成露营旅行所需的10种物品清单

问题：告诉我关于三原色的信息

训练进度

💻 使用示例

推理代码

def gen(x, model, tokenizer, device):
    prompt = (
        f"아래는 작업을 설명하는 명령어입니다. 요청을 적절히 완료하는 응답을 작성하세요.\n\n### 명령어:\n{x}\n\n### 응답:"
    )
    len_prompt = len(prompt)
    gened = model.generate(
        **tokenizer(prompt, return_tensors="pt", return_token_type_ids=False).to(
            device
        ),
        max_new_tokens=1024,
        early_stopping=True,
        do_sample=True,
        top_k=20,
        top_p=0.92,
        no_repeat_ngram_size=3,
        eos_token_id=2,
        repetition_penalty=1.2,
        num_beams=3
    )
    return tokenizer.decode(gened[0])[len_prompt:]

def LLM_infer(input):
    device = (
        torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu")
    )
    model_id = "kfkas/Llama-2-ko-7b-Chat"
    model = AutoModelForCausalLM.from_pretrained(
        model_id, device_map={"": 0},torch_dtype=torch.float16, low_cpu_mem_usage=True
    )
    tokenizer = AutoTokenizer.from_pretrained(model_id)
    model.eval()
    model.config.use_cache = (True)
    tokenizer.pad_token = tokenizer.eos_token
    output = gen(input, model=model, tokenizer=tokenizer, device=device)

    return output


if __name__ == "__main__":
    text = LLM_infer("삼원색에 대해 알려줘")
    print(text)

oobabooga/text-generation-webui注意事项

需要移除modules/models.py文件中load_tokenizer函数（第109行左右）的ValueError异常捕获。

diff --git a/modules/models.py b/modules/models.py
index 232d5fa..de5b7a0 100644
--- a/modules/models.py
+++ b/modules/models.py
@@ -106,7 +106,7 @@ def load_tokenizer(model_name, model):
                 trust_remote_code=shared.args.trust_remote_code,
                 use_fast=False
             )
-        except ValueError:
+        except:
             tokenizer = AutoTokenizer.from_pretrained(
                 path_to_model,
                 trust_remote_code=shared.args.trust_remote_code,

由于Llama-2-Ko使用的是HF tokenizers提供的FastTokenizer，而非sentencepiece包，因此在初始化分词器时需要使用use_fast=True选项。

苹果硅芯片不支持BF16计算，请使用CPU代替（NVIDIA GPU支持BF16）。

📚 详细文档

Llama 2原始模型卡

模型详情

注意：使用此模型需遵守Meta的许可协议。若要下载模型权重和分词器，请访问网站，并在请求访问前接受许可协议。

Meta开发并公开发布了Llama 2系列大语言模型（LLMs），这是一系列预训练和微调的生成式文本模型，参数规模从70亿到700亿不等。我们的微调模型Llama-2-Chat针对对话场景进行了优化。在我们测试的大多数基准测试中，Llama-2-Chat模型的表现优于开源聊天模型，在我们的人工评估中，其在有用性和安全性方面与一些流行的闭源模型（如ChatGPT和PaLM）相当。

Llama 2系列模型。标记数仅指预训练数据。所有模型均使用400万个标记的全局批量大小进行训练。更大的模型（70B）使用分组查询注意力（GQA）以提高推理的可扩展性。

• 模型日期：Llama 2于2023年1月至2023年7月期间进行训练。
• 状态：这是一个基于离线数据集训练的静态模型。随着我们根据社区反馈改进模型的安全性，未来将发布微调模型的新版本。
• 许可证：可在此处获取自定义商业许可证。
• 研究论文："Llama-2: Open Foundation and Fine-tuned Chat Models"

预期用途

• 预期用例：Llama 2旨在用于英语的商业和研究用途。微调模型适用于类似助手的聊天场景，而预训练模型可用于各种自然语言生成任务。

为了获得聊天版本的预期功能和性能，需要遵循特定的格式，包括INST和<<SYS>>标签、BOS和EOS标记，以及它们之间的空格和换行符（我们建议对输入调用strip()以避免双空格）。详情请参阅我们在github上的参考代码：chat_completion。

• 超出范围的用途：以任何违反适用法律法规（包括贸易合规法律）的方式使用。使用英语以外的语言。以Llama 2的可接受使用政策和许可协议禁止的任何其他方式使用。

硬件和软件

• 训练因素：我们使用自定义训练库、Meta的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算平台上进行。
• 碳足迹：预训练使用了A100 - 80GB类型的硬件，累计计算时长为330万个GPU小时（TDP为350 - 400W）。估计总排放量为539 tCO2eq，其中100%由Meta的可持续发展计划进行了抵消。

预训练期间的CO₂排放。时间：每个模型训练所需的总GPU时间。功耗：所用GPU设备的峰值功率容量，已根据功率使用效率进行调整。100%的排放量直接由Meta的可持续发展计划进行抵消，由于我们公开发布了这些模型，其他人无需承担预训练成本。

训练数据

• 概述：Llama 2在来自公开来源的2万亿个标记的数据上进行了预训练。微调数据包括公开可用的指令数据集，以及超过一百万个新的人工标注示例。预训练和微调数据集均不包含Meta用户数据。
• 数据新鲜度：预训练数据的截止日期为2022年9月，但部分微调数据更新至2023年7月。

评估结果

在本节中，我们报告了Llama 1和Llama 2模型在标准学术基准测试中的结果。所有评估均使用我们的内部评估库。

伦理考量和局限性

Llama 2是一项新技术，使用时存在一定风险。到目前为止进行的测试均使用英语，且无法涵盖所有场景。因此，与所有大语言模型一样，Llama 2的潜在输出无法提前预测，在某些情况下，模型可能会对用户的提示产生不准确、有偏见或其他令人反感的响应。因此，在部署Llama 2的任何应用程序之前，开发者应针对特定应用场景对模型进行安全测试和调整。

请参阅负责任使用指南。

问题反馈

请通过以下方式报告模型的任何软件“漏洞”或其他问题：

• 报告模型问题：github.com/facebookresearch/llama
• 报告模型生成的有问题内容：developers.facebook.com/llama_output_feedback
• 报告漏洞和安全问题：facebook.com/whitehat/info

Llama模型索引