许可证：apache-2.0
许可证链接：https://huggingface.co/Qwen/Qwen2.5-14B-Instruct/blob/main/LICENSE
支持语言：

• 日语
• 英语
  标签：
• vila
• nvila
• 对话式
• 多模态
  基础模型：
• Qwen/Qwen2.5-14B-Instruct
• Efficient-Large-Model/paligemma-siglip-so400m-patch14-448
  管道标签：图像-文本到文本

Heron-NVILA-Lite-15B

Heron-NVILA-Lite-15B 是一款基于 NVILA-Lite 架构、专为日语训练的视觉语言模型。

模型概览

• 开发团队：Turing Inc.
• 视觉编码器：paligemma-siglip-so400m-patch14-448
• 投影器：mlp_downsample_3x3_fix
• 大语言模型：Qwen2.5-14B-Instruct
• 支持语言：日语、英语

环境配置

# 已验证 transformers 4.46.0 和 4.49.0 版本也可用，其他版本未测试  
pip install transformers==4.45.0 accelerate opencv-python torchvision einops pillow  
pip install git+https://github.com/bfshi/scaling_on_scales.git  

使用示例

from transformers import AutoConfig, AutoModel  

model_path = "turing-motors/Heron-NVILA-Lite-15B"  

# 方式一：通过配置加载  
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)  
model = AutoModel.from_config(config, trust_remote_code=True, device_map="auto")  

# 方式二：直接加载预训练模型  
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device_map="auto")  

# 查看对话模板  
print(model.tokenizer.chat_template)  

# 纯文本生成示例  
response = model.generate_content(["こんにちは"])  
print(response)  
print("---" * 40)  

# 图文混合生成示例  
from PIL import Image  
import requests  
url = "http://images.cocodataset.org/val2017/000000039769.jpg"  
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")  
response = model.generate_content([image, "画像を説明してください。"])  
print(response)  
print("---" * 40)  

# 带生成配置的示例  
from transformers import GenerationConfig  
generation_config = GenerationConfig(  
    max_new_tokens=512,  
    temperature=0.5,  
    do_sample=True  
)  
response = model.generate_content(  
    [image, "画像を説明してください。"],  
    generation_config=generation_config  
)  
print(response)  
print("---" * 40)  

# 多图交替对话示例  
url_list = [  
    "https://images.unsplash.com/photo-1694831404826-3400c48c188d",  
    "https://images.unsplash.com/photo-1693240876439-473af88b4ed7"  
]  
images = [Image.open(requests.get(url, stream=True).raw).convert("RGB") for url in url_list]  
response = model.generate_content([  
    images[0], "これは日本の画像です",  
    images[1], "これはオーストリアの画像です",  
    "各画像の違いを説明して"  
])  
print(response)  

训练摘要

性能评估

使用 llm-jp-eval-mm 基准测试，结果如下（2025年3月数据）：

风险声明

本模型为实验性成果，未完全通过伦理合规性校准，敏感场景使用需谨慎。

许可协议

• 模型权重采用 Apache 2.0许可证
• 因包含GPT-4合成数据，需额外遵守 OpenAI使用条款

致谢

本项目由日本新能源产业技术综合开发机构（NEDO）资助（项目号JPNP20017），并使用了以下开源资源：

• VILA架构
• llm-jp评测框架