语言:

• 日语 标签:

• 指令BLIP

• 视觉

• 图像描述生成

• 日本稳定语言模型 任务标签: 图像转文本 许可证:

• 其他 额外授权标题: 访问日本稳定语言模型指令Alpha版 额外授权说明: 该仓库可公开访问，但您需要接受条款才能访问其文件和内容。 额外授权按钮内容: 访问仓库 额外授权字段: 姓名: 文本 邮箱: 文本 机构: 文本 我同意接受条款并与Stability AI共享上述信息: 复选框 额外授权提示: |

  日本稳定语言模型研究许可协议

  日期: 2023年8月7日

  "协议"指本文规定的使用、复制、分发和修改软件产品的条款和条件。

  "文档"指Stability AI提供的与软件相关的任何规范、手册、文档和其他书面信息。

  "被许可方"或"您"指您、您的雇主或任何其他个人或实体（如果您代表该个人或实体签订本协议），且根据适用法律、规则或法规已达到提供法律同意的年龄，并有法律权限在代表他们签订本协议时约束您的雇主或该其他个人或实体。

  "Stability AI"或"我们"指Stability AI有限公司。

  "软件"指根据本协议提供的Stability AI专有的日本稳定语言模型。

  "软件产品"指软件和文档。

  通过使用或分发软件产品的任何部分或元素，您同意受本协议约束。

  • 许可权利和再分发。
    • 在您遵守本协议和文档的前提下，Stability AI授予您一项非排他性、全球性、不可转让、不可再许可、可撤销、免版税的有限许可，允许您出于非商业或生产目的复制、分发和创建软件产品的衍生作品。
    • 您不得也不得允许、协助或促使任何第三方出于任何商业或生产目的使用、修改、复制、创建软件产品的衍生作品或分发软件产品（或其任何衍生作品、包含软件产品的作品或软件产生的任何数据），无论是全部还是部分。
    • 如果您向第三方分发或提供软件产品或其任何衍生作品，您应（i）向该第三方提供本协议的副本，（ii）在作为此类副本一部分分发的"通知"文本文件中保留以下归属声明："日本稳定语言模型根据日本稳定语言模型研究许可协议授权，版权所有（c）Stability AI有限公司。保留所有权利。"
    • 本协议授予您的许可以您遵守文档和本协议（包括下文可接受使用政策以及未来可能在stability.ai上更新的内容）为条件，这些内容通过引用并入本协议。
  • 免责声明。除非适用法律要求，软件产品及其任何输出和结果均按"原样"提供，不附带任何明示或暗示的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您全权负责确定使用或再分发软件产品的适当性，并承担与使用软件产品及其任何输出和结果相关的所有风险。
  • 责任限制。在任何情况下，Stability AI或其关联公司均不对因本协议引起的任何利润损失或任何间接、特殊、后果性、附带性、示范性或惩罚性损害承担责任，无论是基于合同、侵权、疏忽、产品责任还是其他理论，即使已被告知此类损害的可能性。
  • 知识产权。
    • 本协议未授予任何商标许可，在与软件产品相关的情况下，Stability AI和被许可方均不得使用对方或其任何关联公司拥有或关联的任何名称或标记，除非在描述和再分发软件产品时出于合理和惯常使用所需。
    • 在Stability AI对软件产品及由其或为其制作的衍生作品的所有权前提下，对于您制作的软件产品的任何衍生作品和修改，在您与Stability AI之间，您是并将继续是此类衍生作品和修改的所有者。
    • 如果您对Stability AI提起诉讼或其他程序（包括诉讼中的交叉索赔或反诉），指控软件产品或相关输出或结果或其任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则本协议授予您的所有许可应自该诉讼或索赔提交或提起之日起终止。您应赔偿并使Stability AI免受因您违反本协议使用或分发软件产品而引起的任何第三方索赔的损害。
  • 期限和终止。本协议自您接受本协议或访问软件产品之日起生效，并将持续有效，直至根据本条款和条件终止。如果您违反本协议的任何条款或条件，Stability AI可终止本协议。本协议终止后，您应删除并停止使用软件产品。第2-4条在本协议终止后仍然有效。 —----------

  日本稳定语言模型可接受使用政策

  如果您访问、使用或分发任何Stability AI模型、软件或其他材料（"Stability技术"），您同意本可接受使用政策（"政策"）。 我们希望每个人都能安全且负责任地使用Stability技术。您同意您不会使用或允许他人使用Stability技术：

  • 违反法律或他人权利（包括知识产权和数据隐私及保护权利），也不得促进、促成、鼓励、协助、计划、煽动或进一步他人违反法律或他人权利；
  • 实施、促进、促成、鼓励、计划、煽动或进一步以下任何行为： - 暴力或恐怖主义； - 对儿童的剥削或伤害，包括招揽、创建、获取或传播儿童剥削内容； - 人口贩卖、剥削和性暴力； - 对个人或群体的骚扰、虐待、威胁、跟踪或欺凌； - 在提供就业、就业福利、信贷、住房、其他经济利益或其他基本商品和服务时基于种族、肤色、种姓、宗教、性别（包括怀孕、性取向或性别认同）、国籍、年龄、残疾或遗传信息（包括家族病史）的歧视，除非适用法律要求（如仅向符合法律特定年龄要求的人提供社会保障福利）； - 创建恶意代码、恶意软件、计算机病毒或任何可能禁用、过载、干扰或损害网站或计算机系统正常运行、完整性、操作或外观的活动；
  • 用于或执行以下目的： - 完全自动化决策，包括对个人或群体进行产生法律效果或类似重大影响的画像； - 从任何Stability技术的输出中系统或自动抓取、挖掘、提取或收集个人可识别数据或类似活动，除非是您作为输入提供给Stability技术且您有权处理的数据，只要您保留此类权利； - 开发、改进或制造任何大规模杀伤性武器（如核武器、化学武器或生物武器）、战争武器（如导弹或地雷）或任何与病原体相关的功能增益活动； - 最佳行业实践要求故障安全控制或性能的关键任务应用或系统，包括核设施运营、飞机导航、电网、通信系统、水处理设施、空中交通管制、生命支持、武器系统或紧急定位或其他紧急服务；
  • 故意欺骗或误导他人，包括与日本稳定语言模型相关的以下用途：
    • 生成、促进或进一步欺诈或虚假信息的创建或传播；
    • 生成、促进或进一步诽谤性内容，包括创建诽谤性陈述、图像或其他内容；
    • 生成、促进或进一步分发垃圾邮件；
    • 未经同意、授权或法律权利冒充他人；
    • 误导人们相信日本稳定语言模型或其输出是人工生成的；
    • 生成或促进虚假在线互动，包括虚假评论和其他虚假在线互动手段；
    • 生成或促进大规模政治广告、宣传或影响力活动；
  • 未能向最终用户适当披露您的AI系统的任何已知危险，或就其能力进行虚假陈述或误导。 本可接受使用政策无意阻止或妨碍任何出于善意对日本稳定语言模型的研究、测试或评估，或与前述任何内容相关的发布。如果您发现日本稳定语言模型中任何可能以任何方式对人们有害的缺陷，我们鼓励您通知我们并给我们机会在他人利用之前修复这些缺陷。如果您对本可接受使用政策有任何疑问，请联系legal@stability.ai。

日本指令BLIP Alpha版

模型详情

日本指令BLIP Alpha版是一个视觉语言指令跟随模型，能够为输入图像和可选的输入文本（如问题）生成日语描述。

使用方法

首先安装requirements.txt中的额外依赖：

pip install sentencepiece einops

import torch
from transformers import LlamaTokenizer, AutoModelForVision2Seq, BlipImageProcessor
from PIL import Image
import requests

# 辅助函数用于格式化输入提示
def build_prompt(prompt="", sep="\n\n### "):
    sys_msg = "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"
    p = sys_msg
    roles = ["指示", "応答"]
    user_query = "与えられた画像について、詳細に述べてください。"
    msgs = [": \n" + user_query, ": "]
    if prompt:
        roles.insert(1, "入力")
        msgs.insert(1, ": \n" + prompt)
    for role, msg in zip(roles, msgs):
        p += sep + role + msg
    return p

# 加载模型
model = AutoModelForVision2Seq.from_pretrained("stabilityai/japanese-instructblip-alpha", trust_remote_code=True)
processor = BlipImageProcessor.from_pretrained("stabilityai/japanese-instructblip-alpha")
tokenizer = LlamaTokenizer.from_pretrained("novelai/nerdstash-tokenizer-v1", additional_special_tokens=['▁▁'])
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)

# 准备输入
url = "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=1770&q=80"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
prompt = "" # 输入空字符串进行图像描述生成。您也可以输入问题作为提示
prompt = build_prompt(prompt)
inputs = processor(images=image, return_tensors="pt")
text_encoding = tokenizer(prompt, add_special_tokens=False, return_tensors="pt")
text_encoding["qformer_input_ids"] = text_encoding["input_ids"].clone()
text_encoding["qformer_attention_mask"] = text_encoding["attention_mask"].clone()
inputs.update(text_encoding)

# 生成
outputs = model.generate(
    **inputs.to(device, dtype=model.dtype),
    num_beams=5,
    max_new_tokens=32,
    min_length=1,
)
generated_text = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0].strip()
print(generated_text)
# 桜と東京スカイツリー

模型详情

• 开发者: Stability AI
• 模型类型: 指令BLIP
• 语言: 日语
• 许可证: 日本稳定语言模型研究许可协议.

训练

日本指令BLIP Alpha版利用了指令BLIP架构。它由3个组件组成：冻结的视觉图像编码器、Q-Former和冻结的LLM。视觉编码器和Q-Former使用Salesforce/instructblip-vicuna-7b初始化。对于冻结的LLM，使用了Japanese-StableLM-Instruct-Alpha-7B模型。在训练期间，仅训练了Q-Former。

训练数据集

训练数据集包括以下公开数据集：

• CC12M 带有翻译成日语的标题
• MS-COCO 带有STAIR Captions
• 日本视觉基因组VQA数据集

使用和限制

预期用途

该模型旨在供开源社区在遵守研究许可的情况下用于类似聊天的应用程序中。

限制和偏见

尽管上述数据集有助于将基础语言模型引导到"更安全"的文本分布中，但并非所有偏见和毒性都能通过微调来缓解。我们要求用户注意在生成响应中可能出现的此类潜在问题。不要将模型输出视为人类判断的替代品或真相来源。请负责任地使用。

如何引用

@misc{JapaneseInstructBLIPAlpha, 
    url    = {[https://huggingface.co/stabilityai/japanese-instructblip-alpha](https://huggingface.co/stabilityai/japanese-instructblip-alpha)}, 
    title  = {日本指令BLIP Alpha版}, 
    author = {Shing, Makoto and Akiba, Takuya}
}

引用

@misc{dai2023instructblip,
    title         = {指令BLIP：通过指令调优实现通用视觉语言模型}, 
    author        = {Wenliang Dai and Junnan Li and Dongxu Li and Anthony Meng Huat Tiong and Junqi Zhao and Weisheng Wang and Boyang Li and Pascale Fung and Steven Hoi},
    year          = {2023},
    eprint        = {2305.06500},
    archivePrefix = {arXiv},
    primaryClass  = {cs.CV}
}

联系方式

• 有关模型的问题和评论，请加入Stable Community Japan。
• 有关Stability AI模型的未来公告/信息、研究和活动，请关注https://twitter.com/StabilityAI_JP。
• 有关商业和合作咨询，请联系partners-jp@stability.ai。