🚀 Swallow-MX-8x7b-NVE-v0.1

Swallow-MX-8x7b-NVE-v0.1模型是在Mixtral-8x7B-Instruct-v0.1的基础上进行持续预训练得到的，主要增加了日语数据，提升了模型在日语和英语上的性能。

🚀 快速开始

首先，安装requirements.txt中的额外依赖：

pip install -r requirements.txt

使用基础模型

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 基于Mixtral-8x7B-Instruct-v0.1持续预训练，增强了日语语言能力。
• 支持日语和英语两种语言。
• 在多个基准测试中表现出色。

📚 详细文档

模型详情

基础模型性能

日语版本

英语版本

请注意，Swallow-MX-8x7b-NVE-v0.1并非基于Mixtral-8x7B-v0.1开发，而是在Mixtral-8x7B-Instruct-v0.1的基础上进行持续预训练。

训练数据集

持续预训练

以下数据集用于持续预训练：

• Algebraic Stack
• Japanese Wikipedia
• RefinedWeb
• Swallow Corpus
• The Pile
• The Vault

风险与局限性

此处发布的模型仍处于研究和开发的早期阶段，尚未进行调优以确保输出符合人类意图和安全考量。

致谢

感谢Mistral AI以开放许可的方式发布Mixtral-8x7B-Instruct-v0.1，使其他开发者能够在此基础上进行开发。

本项目得到了日本国立先进工业科学技术研究所ABCI大规模语言模型构建支持计划的支持。

📄 许可证

本模型采用Apache 2.0许可证。

👥 作者

冈崎实验室（Okazaki Laboratory）

• Naoaki Okazaki
• Sakae Mizuki
• Hiroki Iida
• Mengsay Loem
• Shota Hirai
• Kakeru Hattori
• Masanari Ohi

横田实验室（YOKOTA Laboratory）

• Rio Yokota
• Kazuki Fujii
• Taishi Nakamura

📝 如何引用

如果您认为我们的工作有帮助，请随意引用：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}