language:

• 英文
• 日文 library_name: transformers pipeline_tag: 文本生成 tag: 混合专家模型 license: apache-2.0

Swallow-MX-8x7b-NVE-v0.1

我们的Swallow-MX-8x7b-NVE-v0.1模型是在Mixtral-8x7B-Instruct-v0.1基础上进行持续预训练的成果，主要增加了日语数据。

模型详情

• 模型类型: 关于模型架构的详细信息，请参阅Mixtral技术报告。
• 支持语言: 日语、英语
• 分词器: 本模型使用与Mixtral-8x7B-Instruct-v0.1相同的分词器。
• 联系方式: swallow[at]nlp.c.titech.ac.jp

基础模型性能

日语版本

英语版本

请注意，Swallow-MX-8x7b-NVE-v0.1并非基于Mixtral-8x7B-v0.1开发，而是在Mixtral-8x7B-Instruct-v0.1基础上进行持续预训练的产物。

使用方法

首先安装requirements.txt中的额外依赖：

pip install -r requirements.txt

使用基础模型

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "东京工业大学的主校区位于"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

训练数据集

持续预训练

以下数据集用于持续预训练：

• Algebraic Stack
• 日语维基百科
• RefinedWeb
• Swallow语料库
• The Pile
• The Vault

风险与限制

当前发布的模型仍处于研发初期阶段，尚未经过充分调优以确保输出符合人类意图和安全考量。

致谢

我们感谢Mistral AI以开放许可协议发布Mixtral-8x7B-Instruct-v0.1模型，使他人能够在此基础上继续开发。

本项目获得日本产业技术综合研究所ABCI大规模语言模型构建支持计划的支持。

许可证

apache-2.0

作者团队

团队成员包括：

• 来自冈崎实验室的成员：
  • 冈崎直昭
  • 水崎荣
  • 饭田浩树
  • Mengsay Loem
  • 平井翔太
  • 服部翔
  • 大井正成
• 来自横田实验室的成员：
  • 横田理央
  • 藤井一树
  • 中村大志

引用方式

如果您发现我们的工作有帮助，欢迎引用：

@inproceedings{Fujii:COLM2024,
   title={持续预训练实现跨语言大模型适配：
增强日语能力},
   author={藤井一树 and 中村大志 and Mengsay Loem and 饭田浩树
and 大井正成 and 服部翔 and 平井翔太 and 水崎荣 and 横田理央 and 冈崎直昭},
   booktitle="第一届语言建模会议论文集",
   series={COLM},
   pages="(待刊)",
   year="2024",
   month=10,
   address={美国宾夕法尼亚大学},
}

@inproceedings{Okazaki:COLM2024,
   title={构建面向大模型的日语网络语料库},
   author={冈崎直昭 and 服部翔 and 平井翔太 and 饭田浩树
and 大井正成 and 藤井一树 and 中村大志 and Mengsay
Loem and 横田理央 and 水崎荣},