🚀 Swallow-MS-7b-v0.1

我们的 Swallow-MS-7b-v0.1 模型在 Mistral-7B-v0.1 的基础上进行了持续预训练，主要增加了日语语言数据，提升了模型在日语和英语上的表现能力。

🚀 快速开始

本仓库提供了由 TokyoTech-LLM 开发的大语言模型。若要使用该模型，需先安装额外依赖：

pip install -r requirements.txt

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MS-7b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 基于 Mistral-7B-v0.1 进行持续预训练，增加了日语语言数据。
• 采用了基于日语数据扩展词汇表的分词器，推理速度更快。

📦 安装指南

首先安装 requirements.txt 中的额外依赖：

pip install -r requirements.txt

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MS-7b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 详细文档

模型发布更新

我们很高兴分享最新模型的发布计划：

• 2024 年 4 月 26 日：发布了 Swallow-MS-7b-instruct-v0.1
• 2024 年 3 月 11 日：发布了 Swallow-MS-7b-v0.1

模型详情

基础模型性能

日语任务

英语任务

代码生成任务

评估基准

日语评估基准

我们使用了 llm-jp-eval(v1.0.0) 和 JP Language Model Evaluation Harness(提交编号 #9b42d41)。详情如下：

• 多项选择题回答 (JCommonsenseQA [Kurihara+, 2022])
• 开放式问题回答 (JEMHopQA [Ishii+, 2023])
• 开放式问题回答 (NIILC [Sekine, 2003])
• 机器阅读理解 (JSQuAD [Kurihara+, 2022])
• 自动摘要 (XL-Sum [Hasan+, 2021])
• 机器翻译 (WMT2020 ja-en [Barrault+, 2020])
• 机器翻译 (WMT2020 en-ja [Barrault+, 2020])
• 数学推理 (MGSM [Shi+, 2023])

英语评估基准

我们使用了 Language Model Evaluation Harness(v.0.3.0)。详情如下：

• 多项选择题回答 (OpenBookQA [Mihaylov+, 2018])
• 开放式问题回答 (TriviaQA [Joshi+, 2017])
• 机器阅读理解 (SQuAD 2.0 [Rajpurkar+, 2018])
• 常识推理 (XWINO [Tikhonov & Ryabinin, 2021])
• 自然语言推理 (HellaSwag [Zellers+, 2019])
• 数学推理 (GSM8k [Cobbe+, 2021])

代码评估基准

我们使用了 Code Generation LM Evaluation Harness [Allal+, 2022] (提交编号 #0261c52)。详情如下：

• 代码生成 (HumanEval [Chen+, 2021])
• 日语代码生成 (JHumanEval [Satoh+, 2024])

训练数据集

持续预训练

以下数据集用于持续预训练：

• Algebraic Stack
• Japanese Wikipedia
• RefinedWeb
• Swallow Corpus
• The Pile

风险与局限性

此处发布的模型仍处于我们研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

致谢

我们感谢 Mistral AI 以开放许可证发布 Mistral 7B v0.1，以便其他人在此基础上进行开发。

我们的项目得到了国立先进工业科学技术研究所 ABCI 大规模语言模型构建支持计划 的支持。

许可证

apache-2.0

作者

以下是团队成员：

• 来自 Okazaki 实验室 的成员：
  • Naoaki Okazaki
  • Sakae Mizuki
  • Hiroki Iida
  • Mengsay Loem
  • Shota Hirai
  • Kakeru Hattori
  • Masanari Ohi
• 来自 YOKOTA 实验室 的成员：
  • Rio Yokota
  • Kazuki Fujii
  • Taishi Nakamura

如何引用

如果您认为我们的工作有帮助，请随时引用我们。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

⚠️ 重要提示

此处发布的模型仍处于我们研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

💡 使用建议

若要使用该模型，需先安装 requirements.txt 中的额外依赖。