许可证：apache-2.0
数据集：

• liuhaotian/LLaVA-CC3M-Pretrain-595K
• liuhaotian/LLaVA-Instruct-150K
• FreedomIntelligence/ALLaVA-4V-Chinese
• shareAI/ShareGPT-Chinese-English-90k
  语言：
• zh
• en
  任务标签：visual-question-answering

360VL 模型卡

360VL 基于LLama3语言模型开发，是业界首个基于 LLama3-70B[🤗Meta-Llama-3-70B-Instruct]的开源大型多模态模型。除了应用Llama3语言模型外，360VL模型还设计了全局感知的多分支投影器架构，使模型具备更充分的图像理解能力。

Github:https://github.com/360CVGroup/360VL

模型库

360VL已发布以下版本：

特性

360VL具备以下功能：

• 多轮图文对话：支持以文本和图像作为输入并生成文本输出，目前可实现单图多轮视觉问答。
• 双语文本支持：支持中英文对话，包括图像中的文字识别。
• 强大的图像理解：擅长分析视觉内容，能高效完成图像信息提取、整理和总结等任务。
• 细粒度图像解析：支持672×672更高分辨率的图像理解。

性能

快速开始 🤗

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  
from PIL import Image  

checkpoint = "qihoo360/360VL-70B"  

model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.float16, device_map='auto', trust_remote_code=True).eval()  
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)  
vision_tower = model.get_vision_tower()  
vision_tower.load_model()  
vision_tower.to(device="cuda", dtype=torch.float16)  
image_processor = vision_tower.image_processor  
tokenizer.pad_token = tokenizer.eos_token  

image = Image.open("docs/008.jpg").convert('RGB')  
query = "这个卡通角色是谁？"  
terminators = [  
    tokenizer.convert_tokens_to_ids("<|eot_id|>")  
]  

inputs = model.build_conversation_input_ids(tokenizer, query=query, image=image, image_processor=image_processor)  

input_ids = inputs["input_ids"].to(device='cuda', non_blocking=True)  
images = inputs["image"].to(dtype=torch.float16, device='cuda', non_blocking=True)  

output_ids = model.generate(  
    input_ids,  
    images=images,  
    do_sample=False,  
    eos_token_id=terminators,  
    num_beams=1,  
    max_new_tokens=512,  
    use_cache=True)  

input_token_len = input_ids.shape[1]  
outputs = tokenizer.batch_decode(output_ids[:, input_token_len:], skip_special_tokens=True)[0]  
outputs = outputs.strip()  
print(outputs)  

模型类型：
360VL-70B是通过在多模态指令跟随数据上微调LLM训练的开源聊天机器人，是基于Transformer架构的自回归语言模型。
基础LLM：meta-llama/Meta-Llama-3-70B-Instruct

模型日期：
360VL-70B训练于2024年5月。

许可证

本项目使用的部分数据集和检查点受其原始许可证约束，用户须遵守所有原始许可证条款。
本项目内容本身采用Apache 2.0许可证授权。

问题反馈：
https://github.com/360CVGroup/360VL

相关项目

特别感谢以下开源项目的杰出贡献：

• Meta Llama 3
• LLaVA: 大型语言与视觉助手
• Honeybee: 多模态LLM的局部增强投影器