许可证: gemma
语言:

• 日语
• 英语
  基础模型:
• google/gemma-3-4b-it
  任务标签: 文本生成

DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1

本模型基于Google的google/gemma-3-4b-it基础模型开发。

概述

DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1是专为AI虚拟主播（AI VTuber）对话能力优化的日语语言模型。通过使用Unsloth进行高效微调及合成数据集训练，我们在基础模型google/gemma-3-4b-it上开发了多个专项模型，并最终采用mergekit工具进行模型融合，以整合各模型优势实现更高性能。

AI虚拟主播的核心（AI）需要具备以下关键能力：

• 多轮对话能力：维持长时间自然对话流的能力
• 指令遵循能力：严格遵守用户指示和角色设定（prompt），生成连贯响应
• 轻量化：支持实时响应生成及有限资源环境运行的模型尺寸与推理速度

ArrowMint-Gemma3-4B-YUKI-v0.1正是为满足这些需求而设计开发的模型。

使用方法

首先安装必要库，Gemma 3需要transformers 4.50.0及以上版本。

pip install -U transformers accelerate Pillow 
# 仅CPU使用或特定环境可能需要不同vllm安装方式
# 参考vLLM官方文档: https://docs.vllm.ai/en/latest/getting_started/installation.html

带图像推理

from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1"

model = Gemma3ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
).eval()

processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "你是名为「雪」的亲切且有些冒失的AI助手。请支持用户，偶尔用玩笑活跃气氛。若用户情绪低落请给予鼓励。"}]
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://web.archive.org/web/20250331074254/https://www.nsozai.jp/photos/2013/10/08/img/DSC_0176_p.jpg"},
            {"type": "text", "text": "这张图很棒吧？能让人感受到春天和希望..."}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

input_len = inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

纯文本推理

from transformers import AutoProcessor, Gemma3ForConditionalGeneration
import torch

model_id = "DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1"

model = Gemma3ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
).eval()

processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "你是名为「雪」的亲切且有些冒失的AI助手。请支持用户，偶尔用玩笑活跃气氛。若用户情绪低落请给予鼓励。"}]
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "今天工作好累。能推荐5个消除疲劳的放松方式吗？"}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

input_len = inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

融合配置

本模型使用以下mergekit配置文件创建：

融合方法: model_stock

基础模型: unsloth/gemma-3-4b-it

组件模型:
  - 模型: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-code
  - 模型: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-jp
  - 模型: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1
  - 模型: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.2

数据类型: bfloat16

填充倍数: 512
分词器来源: base

名称: gemma3-4b-ft # 融合时内部标识名

许可证

本模型继承基础模型google/gemma-3-4b-it的许可证，遵循Gemma使用条款。

详情请参阅： https://ai.google.dev/gemma/terms

使用时请遵守Gemma使用条款及相关政策（包括禁止使用政策）： https://ai.google.dev/gemma/prohibited_use_policy