许可协议: cc-by-nc-4.0 语言:

• 英文 任务标签: 图像文本到文本 标签:
• 英伟达
• NVLM
• pytorch
• 多模态
• 对话式 库名称: transformers

模型概述

描述

这一系列模型能够执行视觉语言和纯文本任务，包括光学字符识别、多模态推理、定位、常识推理、世界知识利用和编码。

该模型已准备好用于非商业用途。

许可证/使用条款

管辖条款: 契约 - 署名-非商业性 4.0 国际 - 知识共享。

附加信息: Qwen/Qwen2-72B-Instruct 的许可证 适用于 Qwen2-72B-Instruct，MIT 许可证 – 开源倡议 适用于 InternViT-6B-448px-V1-2。

模型详情

今天（2024年9月17日），我们推出了 NVLM 1.0，这是一系列前沿的多模态大语言模型（LLMs），在视觉语言任务上取得了最先进的结果，可与领先的专有模型（如 GPT-4o）和开放访问模型（如 Llama 3-V 405B 和 InternVL 2）相媲美。值得注意的是，NVLM 1.0 在多模态训练后，其纯文本性能比其 LLM 骨干模型有所提升。

在本仓库中，我们开源了 NVLM-1.0-D-72B（仅解码器架构），即仅解码器的模型权重和代码，供社区使用。