许可证：apache-2.0
许可证链接：https://huggingface.co/Qwen/Qwen2.5-32B-Instruct/blob/main/LICENSE
语言：

• 日语
• 英语
  标签：
• vila
• nvila
• 对话式
• 多模态
  基础模型：
• Qwen/Qwen2.5-32B-Instruct
• google/siglip2-so400m-patch16-512
  管道标签：图像-文本到文本

Heron-NVILA-Lite-33B

Heron-NVILA-Lite-33B 是一款基于 NVILA-Lite 架构、专为日语训练的视觉语言模型。

模型概览

• 开发方：Turing Inc.
• 视觉编码器：siglip2-so400m-patch16-512
• 投影器：mlp_downsample_2x2_fix
• 大语言模型：Qwen2.5-32B-Instruct
• 支持语言：日语、英语

环境配置

# 已验证 4.46.0 和 4.49.0 版本同样可用。其他版本的 Transformer 可能兼容，但未经测试。  
pip install transformers==4.45.0 accelerate opencv-python torchvision einops pillow  
pip install git+https://github.com/bfshi/scaling_on_scales.git  

使用示例

from transformers import AutoConfig, AutoModel  

model_path = "turing-motors/Heron-NVILA-Lite-33B"  

# 可通过 config 加载  
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)  
model = AutoModel.from_config(config, trust_remote_code=True, device_map="auto")  

# 或直接使用 from_pretrained  
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device_map="auto")  

# 显示对话模板  
print(model.tokenizer.chat_template)  

# 纯文本生成示例  
response = model.generate_content(["こんにちは"])  
print(response)  
print("---" * 40)  

# 图文生成示例  
from PIL import Image  
import requests  
url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")  
response = model.generate_content([image, "画像を説明してください。"])  
print(response)  
print("---" * 40)  

# 使用生成配置的示例  
from PIL import Image  
import requests  
from transformers import GenerationConfig  
generation_config = {  
    "max_new_tokens": 512,  
    "temperature": 0.5,  
    "do_sample": True,  
}  
generation_config = GenerationConfig(**generation_config)  
url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")  
response = model.generate_content(  
    [image, "画像を説明してください。"],  
    generation_config=generation_config  
)  
print(response)  
print("---" * 40)  

# 多轮图文交互示例  
from PIL import Image  
import requests  
url_list = [  
    "https://images.unsplash.com/photo-1694831404826-3400c48c188d?q=80&w=2070&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D",  
    "https://images.unsplash.com/photo-1693240876439-473af88b4ed7?q=80&w=1974&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D"  
]  
images = [  
   Image.open(requests.get(url, stream=True).raw).convert("RGB") for url in url_list  
]  
response = model.generate_content([  
    images[0],  
    "これは日本の画像です",  
    images[1],  
    "これはオーストリアの画像です",  
    "各画像の違いを説明して"])  
print(response)  
print("---" * 40)  

训练摘要

评估结果

使用 llm-jp-eval-mm 进行评估。除 Heron-NVILA-Lite 和 Sarashina2-Vision-14B 外，其他模型的分数截至2025年3月取自 llm-jp-eval-mm 排行榜 和 Asagi 官网。Heron-NVILA-Lite 和 Sarashina2-Vision-14B 使用 "gpt-4o-2024-05-13" 通过 llm-as-a-judge 评估。Sarashina2-Vision-14B 在 官方博客 中使用 "gpt-4o-2024-08-06" 评估，请注意因评估条件差异，其结果仅供参考。

风险与限制

本模型为实验性质，未针对伦理合规或法律标准进行充分校准。建议在敏感场景中谨慎使用。

许可证

• 模型权重采用 Apache 2.0许可证授权
• 因包含GPT-4生成的合成数据，使用者需遵守 OpenAI使用条款

致谢

本模型基于日本新能源产业技术综合开发机构(NEDO)资助项目JPNP20017的成果开发。

特别感谢以下开源项目：

• VILA
• llm-jp-eval-mm