language:

• en
• ja library_name: transformers pipeline_tag: text-generation license: llama2 model_type: llama

燕子模型(Swallow)

我们的燕子模型基于Llama 2系列进行持续预训练，主要增加了日语数据支持。调优版本采用监督式微调(SFT)技术。其他模型索引可通过下方链接查看。

模型发布动态

最新模型发布计划如下：

• 2024年4月26日：发布指令调优模型v0.1预览版：7B指令版、13B指令版、70B指令版
• 2024年3月2日：发布Swallow-7b-plus-hf，日语训练token量达基础版7B模型两倍
• 2024年2月4日：发布13B-NVE版
• 2024年1月26日：发布7B-NVE基础版、7B-NVE指令版、70B-NVE基础版、70B-NVE指令版
• 2023年12月19日：首发7B/13B/70B基础版及对应指令版全系列

模型索引表

NVE版模型索引(无词表扩展)

本仓库提供由东京工业大学LLM团队开发的大语言模型。欢迎阅读技术博客或学术论文

模型详情

• 架构类型：详见LLaMA-2技术报告
• 支持语言：日语/英语
• 训练框架：Megatron-LM
• 分词器：采用日语优化的扩展词表，显著提升文本编码效率
• 联系邮箱：swallow[at]nlp.c.titech.ac.jp

基准测试表现

日语任务

英语任务

评估体系

日语评估基准

采用llm-jp-eval(v1.0.0)和JP Language Model Evaluation Harness评估框架，包含：

• 选择题(JCommonsenseQA)
• 开放问答(JEMHopQA/NIILC)
• 机器阅读理解(JSQuAD)
• 自动摘要(XL-Sum)
• 机器翻译(WMT2020)
• 数学推理(MGSM)

英语评估基准

使用Language Model Evaluation Harness(v0.3.0)测试：

• 选择题(OpenBookQA)
• 开放问答(TriviaQA)
• 阅读理解(SQuAD 2.0)
• 常识推理(XWINO)
• 自然语言推理(HellaSwag)
• 数学推理(GSM8k)

使用指南

首先安装依赖项：

pip install -r requirements.txt

指令模型调用示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 初始化7B指令模型
model_name = "tokyotech-llm/Swallow-7b-instruct-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

# 构建日文提示模板
PROMPT_TEMPLATE = """以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。
リクエストを適切に完了するための回答を記述してください。

### 指示:
{instruction}

### 入力:
{input}

### 応答:"""

# 生成东京工业大学校园介绍
instruction = "以下のトピックに関する詳細な情報を提供してください"
input_text = "東京工業大学の主なキャンパスについて教えてください"
prompt = PROMPT_TEMPLATE.format(instruction=instruction, input=input_text)

# 生成回复
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids.to(model.device), max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))

基础模型调用示例

# 初始化7B基础模型
model_name = "tokyotech-llm/Swallow-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

# 续写文本
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids.to(model.device), max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))

训练数据

持续预训练数据源

• 日语维基百科
• RefinedWeb英文语料
• 燕子专用语料库
• The Pile多语言数据集

指令微调数据源

• Anthropic HH-RLHF日文版
• Databricks Dolly日文版
• OpenAssistant对话数据集日文版

风险声明

当前发布版本仍属早期研究成果，输出内容可能存在未对齐人类价值观的情况。

致谢

特别感谢Meta Research开源LLaMA 2模型基础架构。

本项目获得日本产业技术综合研究所ABCI大语言模型支持计划资助。

许可协议

基于LL