language:

• en

• ja license: other license_name: plamo-100b-license license_link: https://huggingface.co/pfnet/plamo-100b/tree/main/LICENSE library_name: transformers pipeline_tag: text-generation extra_gated_prompt: >-

  PLaMo非商业许可协议

  本《PLaMo非商业许可协议》（以下简称"本协议"）由Preferred Networks公司（以下简称"PFN"）制定，规定了用户在使用PFN提供的大型基础语言模型PLaMo-100B（以下简称"本模型"）时必须遵守的非商业使用条款。用户通过同意本协议或使用本模型，即表示接受本协议所有条款的法律约束力。

  第一条 定义

  (1) "本协议"指《PLaMo非商业许可协议》；

  (2) "PFN"指Preferred Networks公司；

  (3) "本模型"指代号为"PLaMo-100B"的模型，包括其训练脚本、分词器、预训练权重及PFN提供的所有相关组件与资源；

  (4) "用户"指使用本模型的个人或法律实体；

  (5) "许可"指PFN根据本协议条款授予用户使用本模型的权限；

  (6) "衍生模型"指通过对本模型进行微调、量化压缩、代码修改、参数调整等方式创建的模型代码，包括微调权重及相关组件资源；

  (7) "输出内容"指由本模型或衍生模型生成的结果；

  (8) "模型及输出内容"统指本模型、衍生模型与输出内容。

  第二条 用户资格

  用户须年满18周岁，或达到所在国家/地区可独立订立协议的法定年龄。若用户未成年，需获得父母或法定监护人的同意方可接受本协议。

  第三条 许可范围

  (1) 在用户同意并遵守所有条款的前提下，PFN授予用户本协议范围内的模型使用权；

  (2) 本许可是非排他性、全球性、可撤销、不可分许可、不可转让且免版税的；

  (3) 用户仅可将模型及输出内容用于个人或学术用途；

  (4) 禁止将模型及输出内容用于以下商业用途： (a) 用户或第三方的商业活动； (b) 开发拟用于商业应用的模型或服务；

  (5) 无论商业或非商业目的，用户不得向第三方提供本模型或衍生模型，亦不得允许第三方使用。

  第四条 衍生模型

  (1) 用户可通过微调、量化压缩、代码修改等方式创建衍生模型，但严禁用于第三条第四款所述商业目的；

  (2) 衍生模型名称须包含"PLaMo"前缀并明确标注。

  第五条 输出内容

  (1) 用户可公开输出内容，但须注明其由本模型或衍生模型生成；

  (2) 严禁利用输出内容开发、训练或改进非本模型/衍生模型的其他大语言模型。

  第六条 使用限制

  禁止将模型及输出内容用于以下行为： (1) 违法或违背公序良俗； (2) 侵害PFN或第三方权益； (3) 损害PFN或第三方信誉； (4) 造成PFN或第三方经济损失； (5) 恐吓、种族歧视或诽谤； (6) 输入日本《个人信息保护法》定义的敏感信息； (7) 网络暴力、骚扰、人肉搜索； (8) 开发/传播恶意软件； (9) 煽动自杀、自残、暴力、吸毒； (10) 传播虚假信息； (11) 暗示输出内容代表PFN官方立场； (12) 在金融、教育、就业、医疗等关键领域使用； (13) 作为唯一信息源或专家建议替代品； (14) 用于车辆导航/自动驾驶系统； (15) 参与/协助犯罪活动； (16) 洗钱等金融违法； (17) 为反社会势力提供利益； (18) 传播淫秽或危害青少年内容； (19) 用于政治活动； (20) 通过非官方渠道获取模型； (21) 其他PFN认定的不当行为。

  第七条 免责声明

  本模型及输出内容按"现状"提供，PFN不保证其准确性、适销性、特定用途适用性或不侵权。用户需自行评估使用风险并承担全部责任。

  第八条 责任限制

  (1) PFN对用户的赔偿责任以直接损失为限（不包括间接损失），最高赔偿500日元，故意或重大过失除外；

  (2) 商业用途导致的损失PFN概不负责。

  第九条 用户责任

  (1) 用户须确保使用行为符合进出口等法律法规；

  (2) 用户违约导致PFN损失的应予以赔偿；

  (3) 用户应使PFN免受第三方索赔影响。

  第十条 权利归属

  (1) 本模型所有权归PFN或其授权方；

  (2) 衍生模型中用户修改部分归用户，其余权利仍属PFN；

  (3) 输出内容权利归用户所有。

  第十一条 协议终止

  PFN可随时单方面终止本协议。

  第十二条 协议期限

  (1) 自用户同意或首次访问模型时生效，至终止时失效；

  (2) 终止后用户应立即停止使用并删除所有模型文件。

  第十三条 协议修改

  PFN可修订本协议，修改内容将提前公示。

  第十四条 法律适用

  (1) 本协议适用日本法律；

  (2) 争议由东京地方法院专属管辖。

extra_gated_heading: "同意许可协议以下载PLaMo-100B" extra_gated_description: "下载PLaMo-100B需同意许可协议。本模型提供商业与非商业两种许可，非商业使用请查阅LICENSE，商业使用请通过此表单联系我们" extra_gated_button_content: "同意PLaMo-100B许可协议"

PLaMo-100B大语言模型

模型概述

PLaMo-100B是由Preferred Elements公司基于英日双语开源数据集训练的千亿参数模型，提供商业与非商业双重许可。非商业使用请查阅LICENSE（含日英双语版本），商业使用请填写申请表单（仅限日语）。

注意：本模型未针对对话场景进行指令微调。我们通过API和解决方案包提供指令微调版本，详情请访问官方PLaMo网站（日语）。

使用指南

环境要求

• numpy
• sentencepiece
• torch
• transformers

快速调用

import transformers
pipeline = transformers.pipeline("text-generation", model="pfnet/plamo-100b", trust_remote_code=True)
print(pipeline("人工智能技术的未来在于", max_new_tokens=32))

直接加载

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-100b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-100b", trust_remote_code=True)
text = "人工知能技術の今後は"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_tokens = model.generate(
    inputs=input_ids,
    max_new_tokens=32,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)

技术细节

• 参数量：1000亿
• 训练数据：2万亿token（英文1.3T/日文0.7T）
• 研发机构：Preferred Elements公司
• 模型类型：因果解码器架构
• 支持语言：英语、日语
• 许可类型：商业/非商业

训练数据

分两阶段训练：第一阶段1.5T token，第二阶段0.5T token，数据比例如下：

分词器

采用基于预训练数据子集训练的sentencepiece分词器。

技术博客

https://tech.preferred.jp/ja/blog/plamo-100b/

风险提示

PLaMo-100B作为新兴技术存在使用风险。当前测试仅覆盖英日双语场景，输出可能存在偏差或不准确内容。开发者应在实际应用前进行针对性安全测试。

引用格式

@article{plamo100b,
    author    = {Preferred Elements公司研发团队},
    title     = {PLaMo-100B：面向日语能力优化的原生大语言模型},
    year      = {2024},
    url       = {https://arxiv.org/abs/2410.07563},
    journal   = {arXiv}
}

致谢

本模型研发受日本新能源产业技术综合开发机构(NEDO)"后5G信息通信系统增强基础设施研发项目"(JPNP 20017)资助。