语言:

• 英文
• 日文 许可证: 其他 库名称: transformers 标签:
• facebook
• meta
• pytorch
• llama
• llama-3 基础模型: meta-llama/Meta-Llama-3-8B-Instruct 数据集:
• cl-nagoya/auto-wiki-qa
• llm-jp/databricks-dolly-15k-ja 许可证名称: llama3 许可证链接: LICENSE

日语版 Llama 3 8B

简介

本仓库是针对Llama 3进行日语化的模型仓库。4月23日已更新，建议重新下载最新版本。

许可协议

遵循Llama 3许可证，允许商业用途。但使用前请仔细阅读Llama 3许可条款。

使用方法

最快体验方式是通过演示页面。其次推荐使用Colab笔记本。 本地运行步骤如下：

首先安装所需库：

pip install -U transformers accelerate

然后执行以下代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja")
model = AutoModelForCausalLM.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja", device_map="auto", torch_dtype=torch.bfloat16)

# 准备对话提示
messages = [
    {
        'role': "system",
        'content': "你是一个用日语回答的AI助手。"
    },
    {
        'role': "user",
        'content': "猫和狗，你更喜欢哪个？"
    }
]
prompt=tokenizer.apply_chat_template(messages, tokenize=False)

# 执行推理
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **input_ids,
    max_new_tokens=128,
    do_sample=True,
    top_p=0.95,
    temperature=0.2,
    repetition_penalty=1.1,
    eos_token_id=[
        tokenizer.eos_token_id,
        tokenizer.convert_tokens_to_ids("<|eot_id|>")
    ],
)
print(tokenizer.decode(outputs[0]))

预期输出示例：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

你是一个用日语回答的AI助手。<|eot_id|><|start_header_id|>user<|end_header_id|>

猫和狗，你更喜欢哪个？<|eot_id|><|start_header_id|>assistant<|end_header_id|>

因为同时养了猫和狗，所以我都喜欢！<|eot_id|>

训练数据

• llm-jp/databricks-dolly-15k-ja
• cl-nagoya/auto-wiki-qa
• meta-llama/Meta-Llama-3-8B-Instruct

训练方法

基于meta-llama/Meta-Llama-3-8B-Instruct模型，使用cl-nagoya/auto-wiki-qa约240万条数据进行1个epoch的LoRA指令微调后合并LoRA权重。 随后，对该模型使用llm-jp/databricks-dolly-15k-ja数据进行5个epoch的LoRA指令微调后合并LoRA权重。 所有训练均采用监督学习方式完成。

硬件配置

• NVIDIA A6000x2显卡

软件环境

• transformers
• trl

训练时长

• 60 GPU小时