模型简介
模型特点
模型能力
使用案例
🚀 日语稳定语言模型指令版Alpha 7B
japanese-stablelm-instruct-alpha-7b
是基于 Japanese-StableLM-Base-Alpha-7B
模型预训练的自回归语言模型,可用于日语聊天应用。
🚀 快速开始
安装依赖
首先,你需要安装 requirements.txt
文件中的额外依赖项:
pip install sentencepiece einops
代码示例
使用以下代码片段,你可以开始使用 japanese-stablelm-instruct-alpha-7b
生成文本:
基础用法
import torch
from transformers import LlamaTokenizer, AutoModelForCausalLM
tokenizer = LlamaTokenizer.from_pretrained("novelai/nerdstash-tokenizer-v1", additional_special_tokens=['▁▁'])
model = AutoModelForCausalLM.from_pretrained(
"stabilityai/japanese-stablelm-instruct-alpha-7b",
trust_remote_code=True,
)
model.half()
model.eval()
if torch.cuda.is_available():
model = model.to("cuda")
def build_prompt(user_query, inputs="", sep="\n\n### "):
sys_msg = "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"
p = sys_msg
roles = ["指示", "応答"]
msgs = [": \n" + user_query, ": "]
if inputs:
roles.insert(1, "入力")
msgs.insert(1, ": \n" + inputs)
for role, msg in zip(roles, msgs):
p += sep + role + msg
return p
# this is for reproducibility.
# feel free to change to get different result
seed = 42
torch.manual_seed(seed)
# Infer with prompt without any additional input
user_inputs = {
"user_query": "VR とはどのようなものですか?",
"inputs": ""
}
prompt = build_prompt(**user_inputs)
input_ids = tokenizer.encode(
prompt,
add_special_tokens=False,
return_tensors="pt"
)
tokens = model.generate(
input_ids.to(device=model.device),
max_new_tokens=256,
temperature=1,
top_p=0.95,
do_sample=True,
)
out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)
"""バーチャルリアリティは、現実の世界のように見える仮想世界の 3D 仮想現実のシミュレーションです。これは、ヘッドセットを介して、ユーザーが見たり、聞いたり、体験できるものです。"""
高级用法
seed = 42
torch.manual_seed(seed)
# Infer with prompt with additional input
user_inputs = {
"user_query": "VR について、以下の比較対象との違いを箇条書きで教えてください。",
"inputs": "比較対象: AR"
}
prompt = build_prompt(**user_inputs)
input_ids = tokenizer.encode(
prompt,
add_special_tokens=False,
return_tensors="pt"
)
tokens = model.generate(
input_ids.to(device=model.device),
max_new_tokens=256,
temperature=1,
top_p=0.95,
do_sample=True,
)
out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)
"""
以下は、VR と AR の比較対象の比較です。
1. VR はユーザーが3D の世界を体験することを可能にし、ユーザーが自分の目で世界を見ることを可能にします。
2. VR は、ユーザーが目の前の環境をより詳細に感じ、より多くのことができるようにすることを可能にします。
3. VR は、ユーザーの感覚を刺激し、拡張することを可能にします。
4. VR は、視覚的、触覚的、および聴覚的な感覚体験を提供するために使用されます。
5. AR は、現実の世界に重ね合わせて、情報を表示し、ユーザーに拡張現実体験を提供することを可能にします。
6. AR は、ユーザーが仮想オブジェクトを仮想環境に持ち込むことを可能にするため、物理的な世界をシミュレートするのに最適です。
7. VR は、3D 世界を実現する仮想世界を作成することに最適です。
8. AR は、ユーザーが現実世界のオブジェクトをシミュレートし、現実世界の現実的な世界に重ね合わせて情報を表示することを可能にします。
9. VR は、ユーザーの感覚や感情に与える影響が最も大きいと考えられています。
"""
✨ 主要特性
- 基于NeoX架构:
japanese-stablelm-instruct-alpha-7b
是基于 NeoX 变压器架构的自回归语言模型。 - 日语支持:该模型专门针对日语进行了优化,适用于日语聊天应用。
- 多数据集微调:模型在多个日语数据集上进行了微调,包括斯坦福 Alpaca 数据集、Databricks Dolly - 15k 数据集等。
📦 模型详情
属性 | 详情 |
---|---|
模型类型 | japanese-stablelm-instruct-alpha-7b 是基于 NeoX 变压器架构的自回归语言模型。 |
语言 | 日语 |
库 | [GPT - NeoX](https://github.com/EleutherAI/gpt - neox) |
许可证 | 该模型遵循 日语稳定语言模型研究许可协议。 |
🔧 训练详情
训练参数
参数 | 隐藏层大小 | 层数 | 头数 | 序列长度 |
---|---|---|---|---|
70 亿 | 4096 | 32 | 32 | 1024 |
训练数据集
japanese-stablelm-instruct-alpha-7b
在以下数据集的组合上进行了微调:
- 斯坦福 Alpaca 数据集的日语翻译
- Databricks Dolly - 15k 数据集的日语翻译
- Anthropic HH 数据集子集的日语翻译
- 维基新闻 子集 来自 izumi - lab/llm - japanese - dataset
💡 使用与限制
预期用途
该模型旨在供开源社区在遵循研究许可的前提下,用于类似聊天的应用程序。
限制和偏差
尽管上述数据集有助于将基础语言模型引导到更“安全”的文本分布,但并非所有偏差和毒性都能通过微调来缓解。我们要求用户注意生成响应中可能出现的此类潜在问题。请勿将模型输出视为人类判断的替代品或事实来源,请谨慎使用。
👥 作者
🙏 致谢
我们使用了 NovelAI 推出的 [novelai - tokenizer](https://github.com/NovelAI/novelai - tokenizer) 的 v1 版本,因为它能高效处理日语和英语文本。我们感谢 NovelAI 允许我们使用他们的杰出成果。有关分词器的更多详细信息,请参考他们的 博客文章。
我们感谢 EleutherAI Polyglot - JA 团队的贡献,他们帮助我们收集了大量日语预训练数据。Polyglot - JA 团队成员包括 Ko Hyunwoong(项目负责人)、中村藤木(最初在加入 Polyglot 团队时启动了这个项目)、Mo Yunho、Jung Minji、Im KeunSeok 和 Jang Su - Kyeong。
我们还感谢 [AI 小说家/Sta (Bit192, Inc.)](https://ai - novel.com/index.php) 和 日本稳定社区 的众多贡献者,他们协助我们收集了大量高质量的日语文本数据用于模型训练。
📚 引用方式
@misc{JapaneseStableLMInstructAlpha7B,
url={[https://huggingface.co/stabilityai/japanese-stablelm-instruct-alpha-7b](https://huggingface.co/stabilityai/japanese-stablelm-instruct-alpha-7b)},
title={Japanese StableLM Instruct Alpha 7B},
author={Lee, Meng and Nakamura, Fujiki and Shing, Makoto and McCann, Paul and Akiba, Takuya and Orii, Naoki}
}
其他引用
@misc{alpaca,
author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
title = {Stanford Alpaca: An Instruction-following LLaMA model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/tatsu-lab/stanford_alpaca}},
}
@software{gpt-neox-library,
title = {{GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch}},
author = {Andonian, Alex and Anthony, Quentin and Biderman, Stella and Black, Sid and Gali, Preetham and Gao, Leo and Hallahan, Eric and Levy-Kramer, Josh and Leahy, Connor and Nestler, Lucas and Parker, Kip and Pieler, Michael and Purohit, Shivanshu and Songz, Tri and Phil, Wang and Weinbach, Samuel},
url = {https://www.github.com/eleutherai/gpt-neox},
doi = {10.5281/zenodo.5879544},
month = {8},
year = {2021},
version = {0.0.1},
}
📄 许可证
该模型遵循 日语稳定语言模型研究许可协议。在访问、使用或分发该模型时,你需要接受此协议的条款和条件。协议主要内容如下:
日语稳定语言模型研究许可协议
日期:2023 年 8 月 7 日
“协议”指本文中规定的软件产品使用、复制、分发和修改的条款和条件。
“文档”指 Stability AI 提供的与软件相关的任何规格、手册、文档和其他书面信息。
“被许可方”或“你”指你,或你的雇主,或任何其他人或实体(如果你代表该人或实体签订本协议),且你已达到适用法律、规则或法规要求的提供合法同意的年龄,并且如果你代表雇主或其他人员或实体签订本协议,你具有约束他们的合法权力。
“Stability AI”或“我们”指 Stability AI Ltd。
“软件”指根据本协议提供的 Stability AI 专有日语稳定语言模型。
“软件产品”指软件和文档。
通过使用或分发软件产品的任何部分或元素,你同意受本协议的约束。
- 许可权利和再分发
- 在你遵守本协议和文档的前提下,Stability AI 授予你非排他性、全球性、不可转让、不可再许可、可撤销、免版税且有限的许可,允许你在软件产品所体现的 Stability AI 知识产权或其他权利下,为非商业或生产用途复制、分发和创作软件产品的衍生作品。
- 你不得,也不得允许、协助或促使任何第三方将软件产品(或其任何衍生作品、包含软件产品的作品或软件产生的任何数据)全部或部分用于任何商业或生产目的。
- 如果你将软件产品或其任何衍生作品分发给第三方,你应(i)向该第三方提供本协议的副本,(ii)在作为此类副本一部分分发的“通知”文本文件中保留以下归属声明:“日语稳定语言模型根据日语稳定语言模型研究许可协议获得许可,版权所有 (c) Stability AI Ltd。保留所有权利。”
- 本协议授予你的许可取决于你遵守文档和本协议,包括以下可接受使用政策以及未来可能在 stability.ai 上不时更新的内容,该政策特此并入本协议。
- 保修免责声明:除非适用法律要求,软件产品及其任何输出和结果按“现状”提供,不提供任何形式的保证,无论是明示的还是暗示的,包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。你独自负责确定使用或再分发软件产品的适当性,并承担与使用软件产品及其任何输出和结果相关的任何风险。
- 责任限制:在任何情况下,Stability AI 或其附属公司均不对因本协议引起的任何利润损失或任何间接、特殊、后果性、偶发性、示范性或惩罚性损害承担责任,无论责任理论是合同、侵权、疏忽、产品责任还是其他,即使 Stability AI 或其附属公司已被告知此类损害的可能性。
- 知识产权
- 本协议未授予商标许可,并且在涉及软件产品时,除非在描述和再分发软件产品的合理和惯常使用中需要,否则 Stability AI 和被许可方均不得使用对方或其任何附属公司拥有或关联的任何名称或标记。
- 在 Stability AI 拥有软件产品及其为其创作的衍生作品的前提下,就你创作的软件产品的任何衍生作品和修改而言,在你和 Stability AI 之间,你是且将是此类衍生作品和修改的所有者。
- 如果你对 Stability AI 提起诉讼或其他程序(包括在诉讼中的交叉索赔或反诉),声称软件产品或相关输出或结果,或上述任何内容的任何部分构成侵犯你拥有或可许可的知识产权或其他权利,则本协议授予你的任何许可应自提起此类诉讼或索赔之日起终止。你将赔偿并使 Stability AI 免受因你违反本协议使用或分发软件产品而引起的任何第三方索赔。
- 期限和终止:本协议的期限将自你接受本协议或访问软件产品时开始,并将持续有效,直至根据本文的条款和条件终止。如果你违反本协议的任何条款或条件,Stability AI 可终止本协议。本协议终止后,你应删除并停止使用软件产品。第 2 - 4 条在本协议终止后仍然有效。
日语稳定语言模型可接受使用政策
如果你访问、使用或分发任何 Stability AI 模型、软件或其他材料(“Stability 技术”),你同意本可接受使用政策(“政策”)。
我们希望每个人都能安全、负责任地使用 Stability 技术。你同意你不会使用,也不会允许他人使用 Stability 技术:
- 违反法律或他人的权利(包括知识产权以及数据隐私和保护权),你也不会促进、促成、鼓励、便利、策划、煽动或进一步推动他人违反法律或他人的权利;
- 实施、促进、促成、便利、鼓励、策划、煽动或进一步推动以下任何行为:
- 暴力或恐怖主义;
- 对儿童的剥削或伤害,包括征集、创作、获取或传播儿童剥削内容;
- 人口贩卖、剥削和性暴力;
- 对个人或群体的骚扰、虐待、威胁、跟踪或欺凌;
- 基于种族、肤色、种姓、宗教、性别(包括怀孕、性取向或性别认同)、国籍、年龄、残疾或遗传信息(包括家族病史)在就业、就业福利、信贷、住房、其他经济福利或其他基本商品和服务的提供方面进行歧视,但适用法律可能要求的情况除外(例如仅向符合法律规定的某些年龄要求的人提供社会保障福利);
- 创建恶意代码、恶意软件、计算机病毒或任何可能禁用、使负担过重、干扰或损害网站或计算机系统正常运行、完整性、操作或外观的活动;
- 用于以下目的或执行以下操作:
- 对个人或群体进行完全自动化决策,包括画像分析,从而对该个人或群体产生法律影响或以类似方式显著影响该个人或群体;
- 系统地或自动地从任何 Stability 技术的输出中抓取、挖掘、提取或收集个人可识别数据,或进行类似活动,但你作为输入提供给 Stability 技术且你依法有权处理的数据除外,前提是你保留该权利;
- 开发、改进或制造任何大规模杀伤性武器(如核武器、化学武器或生物武器)、战争武器(如导弹或地雷),或进行与任何病原体相关的功能增强活动;
- 关键任务应用程序或系统,其中最佳行业实践要求具备故障安全控制或性能,包括核设施的运行、飞机导航、电网、通信系统、水处理设施、空中交通管制、生命支持、武器系统或紧急定位器或其他紧急服务;
- 故意欺骗或误导他人,包括使用日语稳定语言模型进行以下相关操作:
- 生成、促进或进一步推动欺诈或创建或推广虚假信息;
- 生成、促进或进一步推动诽谤性内容,包括创建诽谤性声明、图像或其他内容;
- 生成、促进或进一步分发垃圾邮件;
- 在未经同意、授权或合法权利的情况下冒充他人;
- 代表或误导人们相信日语稳定语言模型的使用或输出是人类生成的;
- 生成或促进虚假的在线互动,包括虚假评论和其他虚假在线互动方式;
- 生成或促进大规模政治广告、宣传或影响活动;
- 未能向最终用户适当披露你的人工智能系统的任何已知危险,或在其能力方面进行虚假陈述或误导。
本可接受使用政策无意阻止或妨碍对日语稳定语言模型的任何善意研究、测试或评估,或与上述任何内容相关的出版物。如果你发现日语稳定语言模型中可能以任何方式对人有害的任何缺陷,我们鼓励你通知我们,并给我们机会在他人利用这些缺陷之前进行补救。如果你对本可接受使用政策有任何疑问,请联系 legal@stability.ai。



