license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct/blob/main/LICENSE language:

• 日语
• 英语 tags:
• 视觉语言模型
• 轻量级架构
• 对话式AI
• 多模态 base_model:
• Qwen/Qwen2.5-0.5B-Instruct
• Efficient-Large-Model/paligemma-siglip-so400m-patch14-448 pipeline_tag: 图像文本生成文本

Heron-NVILA-Lite-1B

Heron-NVILA-Lite-1B是基于NVILA-Lite架构训练的日语视觉语言模型。

模型概览

• 开发方: Turing Inc.
• 视觉编码器: paligemma-siglip-so400m-patch14-448
• 投影器: mlp_downsample_2x2_fix
• 大语言模型: Qwen2.5-0.5B-Instruct
• 支持语言: 日语、英语

环境配置

# 已验证4.46.0和4.49.0版本同样可用，其他版本可能兼容但未经测试
pip install transformers==4.45.0 accelerate opencv-python torchvision einops pillow
pip install git+https://github.com/bfshi/scaling_on_scales.git

使用示例

from transformers import AutoConfig, AutoModel

model_path = "turing-motors/Heron-NVILA-Lite-1B"

# 通过config加载
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_config(config, trust_remote_code=True, device_map="auto")

# 或直接加载预训练模型
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device_map="auto")

# 显示对话模板
print(model.tokenizer.chat_template)

# 纯文本生成示例
response = model.generate_content(["你好"])
print(response)
print("---" * 40)

# 图文生成示例
from PIL import Image
import requests
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
response = model.generate_content([image, "请描述这张图片。"])
print(response)
print("---" * 40)

# 使用generation_config生成示例
from transformers import GenerationConfig
generation_config = {
    "max_new_tokens": 512,
    "temperature": 0.5,
    "do_sample": True,
}
response = model.generate_content(
    [image, "请描述这张图片。"],
    generation_config=GenerationConfig(**generation_config)
)
print("---" * 40)

# 多轮图文对话示例
url_list = [
    "https://images.unsplash.com/photo-1694831404826-3400c48c188d",
    "https://images.unsplash.com/photo-1693240876439-473af88b4ed7"
]
images = [Image.open(requests.get(url, stream=True).raw).convert("RGB") for url in url_list]
response = model.generate_content([
    images[0],
    "这是日本风景",
    images[1],
    "这是奥地利风景",
    "请比较两幅图的差异"])
print("---" * 40)

训练流程

性能评估

使用llm-jp-eval-mm基准测试，关键指标对比：

风险声明

本模型为实验性成果，未完全通过伦理合规性校准，敏感场景使用需谨慎。

许可协议

• 模型权重遵循Apache 2.0许可
• 因包含GPT-4合成数据，需额外遵守OpenAI使用条款

致谢

本项目由日本新能源产业技术综合开发机构(NEDO)资助(JPNP20017)，并使用了以下开源资源：

• VILA架构
• llm-jp评测框架