语言:

• 英文
• 日文 库名称: transformers 管道标签: 文本生成 许可证: llama2 模型类型: llama

燕子模型

我们的燕子模型基于Llama 2系列进行了持续预训练，主要增加了日语数据。调优版本采用监督式微调(SFT)。其他模型链接可在索引中找到。

模型发布更新

我们很高兴分享最新模型的发布计划：

• 2024年4月26日：发布增强版指令调优模型v0.1预览版：Swallow-7b-instruct-v0.1、Swallow-13b-instruct-v0.1和Swallow-70b-instruct-v0.1
• 2024年3月2日：发布Swallow-7b-plus-hf，其日语训练token量是Swallow-7b-hf的两倍
• 2024年2月4日：发布Swallow-13b-NVE-hf
• 2024年1月26日：发布Swallow-7b-NVE-hf、Swallow-7b-NVE-instruct-hf、Swallow-70b-NVE-hf和Swallow-70b-NVE-instruct-hf
• 2023年12月19日：发布Swallow-7b-hf、Swallow-7b-instruct-hf、Swallow-13b-hf、Swallow-13b-instruct-hf、Swallow-70b-hf和Swallow-70b-instruct-hf

燕子模型索引

无词表扩展(NVE)模型索引

本仓库提供由东京工业大学LLM团队开发的大语言模型。阅读我们的博客文章或论文

模型详情

• 模型类型：架构细节请参考Llama-2技术报告
• 支持语言：日语、英语
• 开发库：Megatron-LM
• 分词器：采用基于日语数据扩展词表的分词器，能以更少token高效表示文本，显著提升推理速度
• 联系方式：swallow[at]nlp.c.titech.ac.jp

基础模型性能

日语任务

（性能对比表格内容保持不变，仅作格式转换）

英语任务

（性能对比表格内容保持不变，仅作格式转换）

评估基准

日语评估基准

我们使用llm-jp-eval(v1.0.0)和JP语言模型评估工具(commit #9b42d41)，具体包括：

• 选择题回答(JCommonsenseQA)
• 开放式问答(JEMHopQA)
• 开放式问答(NIILC)
• 机器阅读理解(JSQuAD)
• 自动摘要(XL-Sum)
• 机器翻译(WMT2020日英/英日)
• 数学推理(MGSM)

英语评估基准

使用Language Model Evaluation Harness(v.0.3.0)，具体包括：

• 选择题回答(OpenBookQA)
• 开放式问答(TriviaQA)
• 机器阅读理解(SQuAD 2.0)
• 常识推理(XWINO)
• 自然语言推理(HellaSwag)
• 数学推理(GSM8k)

使用指南

首先安装requirements.txt中的依赖：

pip install -r requirements.txt

使用指令调优模型

（Python代码示例保持不变，仅作格式转换）

使用基础模型

（Python代码示例保持不变，仅作格式转换）

训练数据集

持续预训练

使用以下数据集：

• 日语维基百科
• RefinedWeb
• 燕子语料库
• The Pile

指令调优

使用以下数据集：

• Anthropic HH-RLHF
• Databricks Dolly 15k日语版
• OpenAssistant对话数据集

风险与限制

当前发布模型仍处于研发早期阶段，尚未完全调优以确保输出符合人类意图和安全考量。

致谢

感谢Meta Research开源Llama 2供社区构建。本项目获日本产业技术综合研究所ABCI大语言模型建设支持计划支持。

许可证

Llama 2采用LLAMA 2社区许可证，版权所有© Meta Platforms, Inc.

开发团队

来自冈崎实验室和横田实验室的成员（名单保持不变）。

引用方式

若觉得我们的工作有帮助，请引用：

（引用文献格式保持不变）