license: other license_name: hyperclovax-seed license_link: LICENSE library_name: transformers

模型概述

HyperCLOVAX-SEED-Vision-Instruct-3B是由NAVER基于自研主干模型开发，通过后训练微调的多模态模型。该模型具备图文理解与文本生成能力，采用轻量化架构设计以优化计算效率。在视觉理解方面，可执行视觉问答（VQA）、图表解析等任务，尤其针对韩语场景实现了帕累托最优平衡。与同规模模型相比，该模型在推理时消耗更少的视觉token，却展现出具有竞争力的性能表现。作为韩国首个开源的图文理解模型，其韩语处理能力显著优于同类开源模型，有望为提升韩国本土AI主权能力做出重要贡献。

基础信息

• 模型架构: 基于LLaVA的视觉语言模型
  • 大语言模块: 基于Transformer的稠密模型
  • 视觉编码器: 采用SigLIP架构，支持每网格378x378像素输入分辨率
  • 视觉语言连接器: 基于C-Abstractor架构，集成AnyRes机制，可处理9个网格总计129万像素
• 参数量: 3.2B（语言模块）+ 0.43B（视觉模块）
• 输入/输出格式: 文本+图像+视频 / 文本
• 上下文长度: 16k
• 知识截止日期: 训练数据收集于2024年8月之前

训练过程

文本模块

通过HyperCLOVA X驱动的自动化验证系统，我们克服了人工标注在成本、专业性和容错性方面的局限，显著提升了数学、编程等确定性任务的表现。模型基于HyperCLOVAX-SEED-Text-Base-3B，采用监督微调（SFT）与基于GRPO在线强化算法的RLHF联合训练策略。

视觉模块

通过精心设计的架构扩展，在保持原有语言能力基础上新增了视觉问答、图表解析等功能。该3B轻量级模型特别优化了视频token效率，通过动态帧采样实现高效视频理解。在RLHF阶段引入视觉专用V-RLHF数据，支持无OCR处理能力。

性能基准

文本能力

视觉能力

依赖项

• einops
• timm
• av
• decord

使用示例

from transformers import AutoModelForCausalLM, AutoProcessor, AutoTokenizer

model_name = "naver-hyperclovax/HyperCLOVAX-SEED-Vision-Instruct-3B"
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True).to(device="cuda")
preprocessor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 大语言模型示例
# 建议使用ChatML风格的对话模板
chat = [
        {"role": "system", "content": "你是得力助手！"},
        {"role": "user", "content": "你好，最近怎么样？"},
        {"role": "assistant", "content": "我很好。今天能为您做些什么？"},
        {"role": "user", "content": "我想演示对话模板的使用！"},
]
input_ids = tokenizer.apply_chat_template(chat, return_tensors="pt", tokenize=True)
input_ids = input_ids.to(device="cuda")

# 请根据实际场景调整top_p等参数
output_ids = model.generate(
        input_ids,
        max_new_tokens=64,
        do_sample=True,
        top_p=0.6,
        temperature=0.5,
        repetition_penalty=1.0,
)
print("=" * 80)
print("大语言模型示例")
print(tokenizer.batch_decode(output_ids)[0])
print("=" * 80)

# 视觉语言模型示例
# 支持URL、本地路径、base64或字节流输入
vlm_chat = [
        {"role": "system", "content": {"type": "text", "text": "系统提示"}},
        {"role": "user", "content": {"type": "text", "text": "用户文本1"}},
        {
                "role": "user",
                "content": {
                        "type": "image",
                        "filename": "tradeoff_sota.png",
                        "image": "https://github.com/naver-ai/rdnet/blob/main/resources/images/tradeoff_sota.png?raw=true",
                        "ocr": "按光栅顺序列出图中文字。即使阅读顺序不自然，只要遵循光栅顺序即可处理。",
                        "lens_keywords": "古驰Ophidia系列 十字包 小号GG Supreme肩包",
                        "lens_local_keywords": "[0.07, 0.21, 0.92, 0.90] 古驰Ophidia",
                }
        },
        {
                "role": "user",
                "content": {
                        "type": "image",
                        "filename": "tradeoff.png",
                        "image": "https://github.com/naver-ai/rdnet/blob/main/resources/images/tradeoff.png?raw=true",
                }
        },
        {"role": "assistant", "content": {"type": "text", "text": "助手回复1"}},
        {"role": "user", "content": {"type": "text", "text": "用户文本2"}},
        {
                "role": "user",
                "content": {
                        "type": "video",
                        "filename": "rolling-mist-clouds.mp4",
                        "video": "freenaturestock-rolling-mist-clouds.mp4",
                }
        },
        {"role": "user", "content": {"type": "text", "text": "用户文本3"}},
]

new_vlm_chat, all_images, is_video_list = preprocessor.load_images_videos(vlm_chat)
preprocessed = preprocessor(all_images, is_video_list=is_video_list)
input_ids = tokenizer.apply_chat_template(
        new_vlm_chat, return_tensors="pt", tokenize=True, add_generation_prompt=True,
)

output_ids = model.generate(
        input_ids=input_ids.to(device="cuda"),
        max_new_tokens=8192,
        do_sample=True,
        top_p=0.6,
        temperature=0.5,
        repetition_penalty=1.0,
        **preprocessed,
)
print(tokenizer.batch_decode(output_ids)[0])

• 为获得最佳图像理解性能，建议提供OCR结果和实体识别（Lens）等辅助信息。示例代码默认包含这些增强输入，实际使用时若提供结构化数据将显著提升输出质量。