🚀 Llama 3.1 Swallow - 基于Llama构建

Llama 3.1 Swallow是一系列大语言模型（8B、70B），通过在Meta Llama 3.1模型上进行持续预训练构建而成。该系列模型在保留英文能力的同时，增强了原版Llama 3.1的日语能力。我们使用了大约2000亿个标记进行持续预训练，这些标记采样自大型日语网络语料库（Swallow语料库版本2）、日英维基百科文章以及数学和编码内容等（详见基础模型的训练数据集部分）。指令微调模型（Instruct）则是通过在专门为日语构建的合成数据上进行监督微调（SFT）构建而成。查看Swallow模型索引部分，可找到其他模型变体。

注意：Llama-3.1-Swallow-8B-Instruct-v0.3模型是在meta-llama/Llama-3.1-8B-Instruct的基础上进行持续预训练，然后使用我们的指令数据集进行指令微调得到的。

🚀 快速开始

安装依赖

pip install vllm

代码示例

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出会う温かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 语言能力增强：在保留英文能力的同时，显著提升了日语能力。
• 持续预训练：使用约2000亿个标记进行持续预训练，涵盖多种类型的数据。
• 指令微调：通过监督微调构建指令微调模型，更好地响应指令。

📦 安装指南

安装依赖库：

pip install vllm

💻 使用示例

基础用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出会う温かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 详细文档

发布历史

• 2024年12月23日：发布Llama-3.1-Swallow-8B-Instruct-v0.3。
• 2024年11月11日：发布Llama-3.1-Swallow-8B-v0.2和Llama-3.1-Swallow-8B-Instruct-v0.2。
• 2024年10月8日：发布Llama-3.1-Swallow-8B-v0.1、Llama-3.1-Swallow-8B-Instruct-v0.1、Llama-3.1-Swallow-70B-v0.1和Llama-3.1-Swallow-70B-Instruct-v0.1。

重大更新

本次发布增强了Llama 3.1 Swallow的对话能力。更新后的模型Llama-3.1-Swallow-8B-Instruct-v0.3能够根据用户指令和对话历史生成有用且详细的响应。在所有参数小于等于80亿的开源大语言模型中，Llama-3.1-Swallow-8B-Instruct-v0.3在日语MT-Bench上表现出最先进的性能，比其前身Llama-3.1-Swallow-8B-Instruct-v0.2高出8.4分。

Swallow模型索引

模型详情

模型性能

MT-Bench JA

日语任务

英语任务

评估基准

MT-Bench JA

我们使用日语MT-Bench评估多轮对话能力，设置如下：

• 实现方式：FastChat [Zheng+，2023]（提交编号#e86e70d0）
• 问题：Nejumi LLM-Leaderboard NEO，mtbench_ja_question_v3
• 参考答案：Nejumi LLM-Leaderboard NEO，mtbench_ja_referenceanswer_v1
• 评判提示：Nejumi LLM-Leaderboard NEO，mtbench_ja_prompt_v1
• 评判模型：gpt-4-1106-preview
• 评分方式：绝对尺度归一化到0 - 1范围，五次运行取平均值。

日语评估基准

我们使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（提交编号#9b42d41）和Code Generation LM Evaluation Harness（提交编号#0261c52）。详情如下：

• 多项选择题回答（JCommonsenseQA [Kurihara等人，2022]）
• 开放式问题回答（JEMHopQA [Ishii等人，2024]）
• 开放式问题回答（NIILC [関根，2003]）
• 机器阅读理解（JSQuAD [Kurihara等人，2022]）
• 自动摘要（XL-Sum [Hasan等人，2021]）
• 机器翻译（WMT2020 ja-en [Barrault等人，2020]）
• 机器翻译（WMT2020 en-ja [Barrault等人，2020]）
• 数学推理（MGSM [Shi等人，2023]）
• 学术考试（JMMLU [尹ら，2024]）
• 代码生成（JHumanEval [佐藤ら，2024]）

英语评估基准

我们使用了Language Model Evaluation Harness（v.0.4.2）和Code Generation LM Evaluation Harness（提交编号#0261c52）。详情如下：

• 多项选择题回答（OpenBookQA [Mihaylov等人，2018]）
• 开放式问题回答（TriviaQA [Joshi等人，2017]）
• 机器阅读理解（SQuAD2 [Rajpurkar等人，2018]）
• 常识推理（XWINO [Tikhonov和Ryabinin，2021]）
• 自然语言推理（HellaSwag [Zellers等人，2019]）
• 数学推理（GSM8K [Cobbe等人，2021]）
• 推理（BBH（BIG-Bench-Hard）[Suzgun等人，2023]）
• 学术考试（MMLU [Hendrycks等人，2021]）
• 代码生成（HumanEval [Chen等人，2021]）

训练数据集

指令微调

以下数据集用于指令微调：

• Gemma-2-LMSYS-Chat-1M-Synth
  • 从lmsys-chat-1m合成和派生的多轮日语指令数据集 [Zhang+，ICLR24]。
  • 首轮用户指令通过DeepL（机器翻译）翻译成日语，助手响应使用gemma-2-27b-it生成。同一模型，即gemma-2-27b-it作为拒绝采样的评判模型（n = 6）。
  • 第二轮用户指令和响应使用gemma-2-27b-it合成。同一模型对第二轮响应的质量进行评分，范围为1 - 10。得分低于9的第二轮响应及其对应的指令被拒绝。
  • 移除包含个人身份信息（PII）和基于模板的用户指令的对话。移除重复指令。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en数据集的日语变体，由gemma-2-27b-it翻译成日语。
• Swallow-Gemma-Magpie-v0.1
  • 从头开始生成的日语合成指令微调数据集，由gemma-2-27b-it生成。用户指令使用针对每个主题的特定提示创建，助手响应针对这些指令生成。
  • 对话通过启发式方法进行质量和长度过滤。然后，使用gemma-2-27b-it对每个对话的质量进行评分，范围为1 - 10。得分小于等于7的对话被拒绝。

🔧 技术细节

模型架构

请参考Llama 3.1 MODEL_CARD了解模型架构详情。

分词器

请参考Llama 3.1博客了解分词器详情。

📄 许可证

META LLAMA 3.1 COMMUNITY LICENSE和Gemma Terms of Use

致谢

我们感谢Meta Research以宽松的开放许可证发布Llama 3.1。

我们获得了以下各种支持：

• AIST项目：“物理领域生成式AI基础模型的研究与开发”
• NEDO项目：“基于熟练人员视角的设计风险评估工作中支持判断的人工智能应用技术开发”（JPNP18002），属于“下一代人工智能和机器人核心集成技术开发”项目
• MEXT项目：“生成式AI模型透明度和可靠性保障研发中心的形成”
• AIST计划：大型生成式AI开发支持计划

作者

以下是团队成员：

• 来自东京工业大学冈崎实验室的成员：
  • 冈崎直明
  • 水树栄
  • 马悠米
  • 前田航辉
  • 服部駆
  • 大井将成
  • 岛田日成
  • 塩谷大平
  • 斋藤浩志郎
• 来自东京工业大学横田实验室的成员：
  • 横田梨央
  • 藤井和树
  • 中村大史
  • 冈本匠
  • 石田重树
• 来自日本产业技术综合研究所人工智能研究中心的成员：
  • 高村浩也

如何引用

如果您觉得我们的工作有帮助，请随时引用这些论文。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@misc{ma:arxiv2025,
      title={Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models}, 
      author={Youmi Ma and Sakae Mizuki and Kazuki Fujii and Taishi Nakamura and Masanari Ohi and Hinari Shimada and Taihei Shiotani and Koshiro Saito and Koki Maeda and Kakeru Hattori and Takumi Okamoto and Shigeki Ishida and Rio Yokota and Hiroya Takamura and Naoaki Okazaki},
      year={2025},
      eprint={2503.23714},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.23714}, 
}

参考文献

@misc{dubey2024llama3herdmodels,
      title={The Llama 3 Herd of Models}, 
      author={Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Amy Yang and Angela Fan et al.},
      year={2024},
      eprint={2407.21783},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2407.21783}, 
}

风险与限制

此处发布的模型仍处于我们研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

网站https://swallow-llm.github.io/提供了Swallow团队开发的大语言模型。