extra_gated_prompt: >-

Fugaku-LLM使用条款

本使用条款（以下简称"本条款"）规定了由富士通株式会社、国立研究开发法人理化学研究所、国立大学法人东京工业大学、国立大学法人东北大学、株式会社CyberAgent、国立大学法人东海国立大学机构及株式会社Kotoba Technologies Japan（以下简称"开发者"）作为超级计算机"富岳"政策对应框架下大规模语言模型分布式并行学习方法开发成果而公开的大规模语言模型（以下简称"Fugaku-LLM"）的使用条件。Fugaku-LLM的使用者（以下简称"使用者"）应在同意本条款的基础上使用Fugaku-LLM。

• 第一条（使用许可） Fugaku-LLM使用者可根据本条款，将Fugaku-LLM用于商业或非商业目的。"使用"包括但不限于对Fugaku-LLM的修改、复制及再分发，以及使用Fugaku-LLM或通过修改Fugaku-LLM创建的大规模语言模型（以下简称"修改作品"）实施服务。但使用者在再分发Fugaku-LLM或修改作品时的许可协议，或使用Fugaku-LLM或修改作品的服务使用条款中必须包含本使用条款。此外，使用者在再分发修改作品时，必须明确标注已进行修改。违反本条款的Fugaku-LLM使用者将不得使用Fugaku-LLM。

• 第二条（责任）

  1. 使用者事先同意Fugaku-LLM按"现状"提供，开发者不对Fugaku-LLM的准确性、完整性、时效性及质量等作出任何明示或默示的保证，且对因使用或无法使用本Fugaku-LLM而产生的一切损害不承担任何责任。
  2. 若因使用者使用Fugaku-LLM或违反本使用条款导致开发者遭受损害，使用者应赔偿该损害。
  3. 使用者应自行负责并判断使用行为，就Fugaku-LLM使用与第三方产生的纠纷，应自行承担责任和费用解决，不得给开发者造成任何困扰。使用者应自行处理因使用Fugaku-LLM产生的损害。

• 第三条（禁止行为） 使用者不得利用Fugaku-LLM进行以下行为：

  1. 侵犯开发者或第三方知识产权的行为，或有侵权可能的行为
  2. 侵犯开发者或第三方财产、隐私或肖像权的行为，或有侵权可能的行为
  3. 歧视、诽谤中伤或侮辱开发者或第三方，助长对他人的歧视，或损害名誉、信用的行为
  4. 从事未经许可的法律业务，或提供非专业资格人士的法律建议
  5. 提供非专业资格人士的财务建议
  6. 包含健康建议或治疗方法提示等医疗行为
  7. 其他依据法令需获得许可的行为

• 第四条（限制事项）

  1. 使用者确认使用Fugaku-LLM的处理结果（以下简称"处理结果"）可能包含虚假、偏见、侵犯他人权利的内容，或不符合预期有效性及实用性的内容，并同意在不准确或不适当的处理结果可能导致自身或第三方损害、权利侵害或伦理问题的前提下使用Fugaku-LLM。使用者应自行验证处理结果的正确性、合法性及伦理妥当性后使用。若因使用者使用包含处理结果的Fugaku-LLM导致自身或第三方权利受侵，开发者不承担任何损害责任，使用者不得给开发者造成任何困扰。
  2. 使用者应在遵守各国各地区法规的前提下使用处理结果。
  3. 使用者不得将处理结果用于第三条（禁止行为）所列行为。

• 第五条（权利归属）

  1. 除本使用条款明确规定外，使用者不取得Fugaku-LLM的任何权利。
  2. 使用者因创建Fugaku-LLM修改作品而获得新产生的权利，但修改作品的使用应遵守本使用条款。
  3. 开发者不对处理结果主张任何权利。

• 第六条（出口贸易） 使用者在使用Fugaku-LLM及处理结果相关出口需根据外汇及外贸法（含相关政令）或美国出口管制法规获得许可时，应自行取得规定许可。

• 第七条（管辖法院） 本使用条款相关争议的一审专属合意管辖法院为东京地方法院。

• 第八条（准据法） 本使用条款适用日本法律。

• 第九条（其他规定） 本条款规定了使用者与开发者间关于Fugaku-LLM使用的全部事项，未规定事项依相关法令处理。

• 第十条（语言） 本条款以日语为正本。英文翻译版仅供参考，不具有任何法律效力。

以上

Fugaku-LLM使用条款

本使用条款（以下简称"本条款"）规定了由富士通株式会社、国立研究开发法人理化学研究所、国立大学法人东京工业大学、国立大学法人东北大学、株式会社CyberAgent、国立大学法人东海国立大学机构及株式会社Kotoba Technologies Japan（以下简称"开发者"）作为超级计算机"富岳"政策对应框架下大规模语言模型分布式并行学习方法开发成果而公开的大规模语言模型（以下简称"Fugaku-LLM"）的使用条件。Fugaku-LLM的使用者（以下简称"使用者"）应在同意本条款的基础上使用Fugaku-LLM。

• 第一条（使用许可） Fugaku-LLM使用者可根据本条款，将Fugaku-LLM用于商业或非商业目的。"使用"包括但不限于对Fugaku-LLM的修改、复制及再分发，以及使用Fugaku-LLM或通过修改Fugaku-LLM创建的大规模语言模型（以下简称"修改作品"）实施服务。但使用者在再分发Fugaku-LLM或修改作品时的许可协议，或使用Fugaku-LLM或修改作品的服务使用条款中必须包含本使用条款。此外，使用者在再分发修改作品时，必须明确标注已进行修改。违反本条款的Fugaku-LLM使用者将不得使用Fugaku-LLM。

• 第二条（责任）

  1. 使用者事先同意Fugaku-LLM按"现状"提供，开发者不对Fugaku-LLM的准确性、完整性、时效性及质量等作出任何明示或默示的保证，且对因使用或无法使用本Fugaku-LLM而产生的一切损害不承担任何责任。
  2. 若因使用者使用Fugaku-LLM或违反本使用条款导致开发者遭受损害，使用者应赔偿该损害。
  3. 使用者应自行负责并判断使用行为，就Fugaku-LLM使用与第三方产生的纠纷，应自行承担责任和费用解决，不得给开发者造成任何困扰。使用者应自行处理因使用Fugaku-LLM产生的损害。

• 第三条（禁止行为） 使用者不得利用Fugaku-LLM进行以下行为：

  1. 侵犯开发者或第三方知识产权的行为，或有侵权可能的行为
  2. 侵犯开发者或第三方财产、隐私或肖像权的行为，或有侵权可能的行为
  3. 歧视、诽谤中伤或侮辱开发者或第三方，助长对他人的歧视，或损害名誉、信用的行为
  4. 从事未经许可的法律业务，或提供非专业资格人士的法律建议
  5. 提供非专业资格人士的财务建议
  6. 包含健康建议或治疗方法提示等医疗行为
  7. 其他依据法令需获得许可的行为

• 第四条（限制事项）

  1. 使用者确认使用Fugaku-LLM的处理结果（以下简称"处理结果"）可能包含虚假、偏见、侵犯他人权利的内容，或不符合预期有效性及实用性的内容，并同意在不准确或不适当的处理结果可能导致自身或第三方损害、权利侵害或伦理问题的前提下使用Fugaku-LLM。使用者应自行验证处理结果的正确性、合法性及伦理妥当性后使用。若因使用者使用包含处理结果的Fugaku-LLM导致自身或第三方权利受侵，开发者不承担任何损害责任，使用者不得给开发者造成任何困扰。
  2. 使用者应在遵守各国各地区法规的前提下使用处理结果。
  3. 使用者不得将处理结果用于第三条（禁止行为）所列行为。

• 第五条（权利归属）

  1. 除本使用条款明确规定外，使用者不取得Fugaku-LLM的任何权利。
  2. 使用者因创建Fugaku-LLM修改作品而获得新产生的权利，但修改作品的使用应遵守本使用条款。
  3. 开发者不对处理结果主张任何权利。

• 第六条（出口贸易） 使用者在使用Fugaku-LLM及处理结果相关出口需根据外汇及外贸法（含相关政令）或美国出口管制法规获得许可时，应自行取得规定许可。

• 第七条（管辖法院） 本使用条款相关争议的一审专属合意管辖法院为东京地方法院。

• 第八条（准据法） 本使用条款适用日本法律。

• 第九条（其他规定） 本条款规定了使用者与开发者间关于Fugaku-LLM使用的全部事项，未规定事项依相关法令处理。

• 第十条（语言） 本条款以日语为正本。英文翻译版仅供参考，不具有任何法律效力。 license: other license_name: fugaku-llm-tou license_link: LICENSE language:

• ja

• en

Fugaku-LLM

我们的Fugaku LLM模型是使用超级计算机"富岳"从零开始预训练的国产模型。该模型由于使用自有数据从头训练，具有高度透明性和安全性。训练数据以日语数据为主，模型在日语表现上尤为出色。

本模型由Fugaku-LLM开发。

其他模型链接详见索引。

Fugaku-LLM模型索引

模型详情

• 开发者: Fugaku-LLM
• 模型类型: GPT-2
• 支持语言: 日语、英语
• 开发库: DeepSpeedFugaku
• 分词器: llm-jp-tokenizer的v2.2版本code10k_en20k_ja30k
• 许可证: Fugaku-LLM使用条款

模型性能

指令调优模型

我们采用与Nejumi LLM Leaderboard Neo相同的日本MT基准评估方法。仅对Fastchat代码做了以下修改：

• 输入提示调用分词器时添加"add_special_tokens=False"参数
• 限制生成token数不超过2048

使用方法

使用指令调优模型

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

system_example = "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
instruction_example = "スーパーコンピュータ「富岳」の名前の由来を教えてください。"

prompt = f"{system_example}\n\n### 指示:\n{instruction_example}\n\n### 応答:\n"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

使用基础模型

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

prompt = "スーパーコンピュータ「富岳」という名称は"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

训练数据集

指令调优

• oasst1
• databricks-dolly-15k
• gsm8k

许可证

Fugaku-LLM使用条款详见LICENSE和LICENSE_ja文件。

风险与限制

使用Fugaku-LLM的处理结果可能包含虚假、偏见、侵犯他人权利的内容，或不符合预期有效性及实用性的内容。

致谢

本成果基于政府主导的超级计算机"富岳"项目"开发富岳上大规模语言模型的分布式训练方法"。

开发团队

• 东京工业大学
• 东北大学
• 富士通株式会社
• 理化学研究所
• 名古屋大学
• 株式会社CyberAgent
• 株式会社Kotoba Technologies