许可证: 其他
许可证名称: qwen
许可证链接: https://huggingface.co/Qwen/Qwen2.5-72B-Instruct/blob/main/LICENSE
任务标签: 图像文本生成文本
库名称: transformers
基础模型:

• OpenGVLab/InternVL3-8B-Instruct
  基础模型关系: 微调
  数据集:
• OpenGVLab/MMPR-v1.2
  语言:
• 多语言
  标签:
• internvl

InternVL3-8B Transformers 🤗 实现

📜 InternVL 1.0 📜 InternVL 1.5 📜 InternVL 2.5 📜 InternVL2.5-MPO 📜 InternVL3

🆕 博客 🗨️ 聊天演示 🤗 HF 演示 🚀 快速开始 📖 文档

[!重要提示]
本仓库包含 OpenGVLab/InternVL3-8B 模型的 Hugging Face 🤗 Transformers 实现。
其功能旨在与原始 OpenGVLab 版本等效。
作为原生 Transformers 模型，它支持核心库功能，如多种注意力实现（包括 SDPA 和 FA2），并支持图像、视频和文本输入的批量推理。

简介

我们推出 InternVL3，这是一个先进的多模态大语言模型（MLLM）系列，展现出卓越的综合性能。
与 InternVL 2.5 相比，InternVL3 具备更强大的多模态感知和推理能力，同时进一步扩展其多模态能力，涵盖工具使用、GUI 代理、工业图像分析、3D 视觉感知等。
此外，我们将 InternVL3 与 Qwen2.5 Chat 模型进行比较，后者对应的预训练基础模型被用作 InternVL3 语言组件的初始化。得益于原生多模态预训练，InternVL3 系列在文本性能上甚至优于 Qwen2.5 系列。

更多关于 InternVL3 家族的信息，请参阅原始检查点 OpenGVLab/InternVL3-8B。

使用示例

使用 Pipeline 进行推理

以下是使用 image-text-to-text pipeline 在几行代码中执行 InternVL3 模型推理的方法：

>>> from transformers import pipeline  

>>> messages = [  
...     {  
...         "role": "user",  
...         "content": [  
...             {  
...                 "type": "image",  
...                 "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg",  
...             },  
...             {"type": "text", "text": "描述这张图片。"},  
...         ],  
...     },  
... ]  

>>> pipe = pipeline("image-text-to-text", model="OpenGVLab/InternVL3-8B-hf")  
>>> outputs = pipe(text=messages, max_new_tokens=50, return_full_text=False)  
>>> outputs[0]["generated_text"]  
'这张图片展示了一幅生机勃勃的自然场景，有几朵花和一只蜜蜂。\n\n1. **前景花朵**：\n   - 主要焦点是一朵粉色的大波斯菊，中心有明显的黄色花蕊。花瓣柔软且略带褶皱。'  

单张图片推理

此示例演示如何使用聊天模板对单张图片执行推理。

[!注意]
注意，模型已针对聊天训练了特定的提示格式。使用 processor.apply_chat_template(my_conversation_dict) 正确格式化您的提示。

>>> from transformers import AutoProcessor, AutoModelForImageTextToText  
>>> import torch  

>>> torch_device = "cuda"  
>>> model_checkpoint = "OpenGVLab/InternVL3-8B-hf"  
>>> processor = AutoProcessor.from_pretrained(model_checkpoint)  
>>> model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, device_map=torch_device, torch_dtype=torch.bfloat16)  

>>> messages = [  
...     {  
...         "role": "user",  
...         "content": [  
...             {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},  
...             {"type": "text", "text": "请详细描述这张图片。"},  
...         ],  
...     }  
... ]  

>>> inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device, dtype=torch.bfloat16)  

>>> generate_ids = model.generate(**inputs, max_new_tokens=50)  
>>> decoded_output = processor.decode(generate_ids[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True)  

>>> decoded_output  
'图片中有两只猫躺在一条粉色毯子上。左边的猫是一只虎斑猫，毛色为棕色、黑色和白色相间，它似乎正在睡觉，头靠在毯子上。右边的猫...'  

纯文本生成

此示例展示如何在不提供任何图像输入的情况下使用 InternVL 模型生成文本。

>>> from transformers import AutoProcessor, AutoModelForImageTextToText  
>>> import torch  

>>> torch_device = "cuda"  
>>> model_checkpoint = "OpenGVLab/InternVL3-8B-hf"  
>>> processor = AutoProcessor.from_pretrained(model_checkpoint)  
>>> model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, device_map=torch_device, torch_dtype=torch.bfloat16)  

>>> messages = [  
...     {  
...         "role": "user",  
...         "content": [  
...             {"type": "text", "text": "写一首俳句"},  
...         ],  
...     }  
... ]  

>>> inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(torch_device, dtype=torch.bfloat16)  

>>> generate_ids = model.generate(**inputs, max_new_tokens=50)  
>>> decoded_output = processor.decode(generate_ids[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True)  

>>> print(decoded_output)  
"黎明的低语，\n夜晚的寂静低语，\n新一天的光开始。"  

批量图像和文本输入

InternVL 模型还支持批量图像和文本输入。

>>> from transformers import AutoProcessor, AutoModelForImageTextToText  
>>> import torch  

>>> torch_device = "cuda"  
>>> model_checkpoint = "OpenGVLab/InternVL3-8B-hf"  
>>> processor = AutoProcessor.from_pretrained(model_checkpoint)  
>>> model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, device_map=torch_device, torch_dtype=torch.bfloat16)  

>>> messages = [  
...     [  
...         {  
...             "role": "user",  
...             "content": [  
...                 {"type": "image", "url": "https://llava-vl.github.io/static/images/view.jpg"},  
...                 {"type": "text", "text": "为这张图片写一首俳句"},  
...             ],  
...         },  
...     ],  
...     [  
...         {  
...             "role": "user",  
...             "content": [  
...                 {"type": "image", "url": "https://www.ilankelman.org/stopsigns/australia.jpg"},  
...                 {"type": "text", "text": "描述这张图片"},  
...             ],  
...         },  
...     ],  
... ]  

>>> inputs = processor.apply_chat_template(messages, padding=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device, dtype=torch.bfloat16)  

>>> output = model.generate(**inputs, max_new_tokens=25)  

>>> decoded_outputs = processor.batch_decode(output, skip_special_tokens=True)  
>>> decoded_outputs  
["用户\n\n为这张图片写一首俳句\n助手\n丝滑的湖面，\n木制的码头，\n自然的宁静。",  
 '用户\n\n描述这张图片\n助手\n图片展示了一个街道场景，有一个传统的中式拱门，被称为“中国门”或“中式门”。']  

批量多图像输入

此实现支持每个文本不同数量图像的批量文本-图像输入。

>>> from transformers import AutoProcessor, AutoModelForImageTextToText  
>>> import torch  

>>> torch_device = "cuda"  
>>> model_checkpoint = "OpenGVLab/InternVL3-8B-hf"  
>>> processor = AutoProcessor.from_pretrained(model_checkpoint)  
>>> model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, device_map=torch_device, torch_dtype=torch.bfloat16)  

>>> messages = [  
...     [  
...         {  
...             "role": "user",  
...             "content": [  
...                 {"type": "image", "url": "https://llava-vl.github.io/static/images/view.jpg"},  
...                 {"type": "text", "text": "为这张图片写一首俳句"},  
...             ],  
...         },  
...     ],  
...     [  
...         {  
...             "role": "user",  
...             "content": [  
...                 {"type": "image", "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"},  
...                 {"type": "image", "url": "https://thumbs.dreamstime.com/b/golden-gate-bridge-san-francisco-purple-flowers-california-echium-candicans-36805947.jpg"},  
...                 {"type": "text", "text": "这些图片展示了两个不同的地标。你能认出它们吗？"},  
...             ],  
...         },  
...     ],  
>>> ]  

>>> inputs = processor.apply_chat_template(messages, padding=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device, dtype=torch.bfloat16)  

>>> output = model.generate(**inputs, max_new_tokens=25)  

>>> decoded_outputs = processor.batch_decode(output, skip_special_tokens=True)  
>>> decoded_outputs  
["用户\n\n为这张图片写一首俳句\n助手\n丝滑的湖面，\n木制的码头，\n自然的宁静。",  
 '用户\n\n\n这些图片展示了两个不同的地标。你能认出它们吗？\n助手\n是的，这些图片展示了自由女神像和金门大桥。']  

视频输入

InternVL 模型还可以处理视频输入。以下是使用聊天模板对视频输入执行推理的示例。

>>> from transformers import AutoProcessor, AutoModelForImageTextToText, BitsAndBytesConfig  

>>> model_checkpoint = "OpenGVLab/InternVL3-8B-hf"  
>>> quantization_config = BitsAndBytesConfig(load_in_4bit=True)  
>>> processor = AutoProcessor.from_pretrained(model_checkpoint)  
>>> model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, quantization_config=quantization_config)  

>>> messages = [  
...     {  
...         "role": "user",  
...         "content": [  
...             {  
...                 "type": "video",  
...                 "url": "https://huggingface.co/datasets/hf-internal-testing/fixtures_videos/resolve/main/tennis.mp4",  
...             },  
...             {"type": "text", "text": "这个男人在做什么类型的击球？"},  
...         ],  
...     }  
>>> ]  
>>> inputs = processor.apply_chat_template(  
...     messages,  
...     return_tensors="pt",  
...     add_generation_prompt=True,  
...     tokenize=True,