库名称：transformers
许可证：apache-2.0
数据集：

• JJhooww/system_chat_portuguese
• JJhooww/rag_agente
• JJhooww/chamada_de_funcao
• JJhooww/open_perfect_ptbr_sharegpt_multiturn
  语言：
• pt
  基础模型：
• Qwen/Qwen2-VL-7B-Instruct

Fluxi AI - 小型视觉模型 🤖✨

🧠 多模态智能
🗣️ 多语言理解
🛠️ 函数执行能力
📚 高级RAG技术
🤝 自然友好的交互体验

基础模型

本助手基于Qwen2-VL-7B-Instruct模型开发，这是由Qwen团队打造的一款强大多模态语言模型。主要特性包括：

• 70亿参数规模
• 先进的视觉与语言融合架构
• 支持多分辨率图像处理
• 视频内容理解能力
• 针对多模态任务的专项优化

模型概述

一款全能AI助手，能够处理文本、图像和视频的多模态交互。模型支持函数调用、检索增强生成(RAG)和系统引导式交互，并特别强化了葡萄牙语能力。

核心功能

多模态处理

✅ 文本生成与理解
✅ 图像分析与解读
✅ 视频理解（最长20+分钟）
✅ 多样化输入格式支持：

• 本地文件
• Base64编码图像
• 网络URL
• 图像与视频混合输入

多语言支持

🌎 模型支持包括：

• 葡萄牙语（专项优化）
• 英语
• 西班牙语、法语、德语等欧洲语言
• 日语与韩语
• 阿拉伯语与越南语

关键技术特性

1. 函数调用

⚙️ 预定义函数执行能力
📄 结构化输入/输出处理
🛠️ 复杂参数支持
🇧🇷 葡萄牙语函数调用专项优化

2. 检索增强生成(RAG)

📚 文档上下文整合
🔎 相关信息提取
🤖 情境化自适应回答
🇧🇷 葡萄牙语内容优化

3. 系统引导式交互

👥 角色化应答
📌 跨领域知识适配
📖 增强的上下文理解
🇧🇷 葡萄牙语代理专项优化

实现示例

1. 函数调用示例

# 函数调用数据集结构
messages = [
    {
        "role": "system",
        "content": [{
            "type": "text",
            "text": """# 工具集

您可以通过调用工具函数协助用户查询。

XML标签<tools></tools>中包含函数签名：
<tools>
{
 "type": "function",
 "function": {
   "name": "创建联系人",
   "description": "新建联系人记录",
   "parameters": {
     "type": "object",
     "properties": {
       "姓名": {"type": "string", "description": "联系人姓名"},
       "邮箱": {"type": "string", "description": "联系人电子邮箱"}
     },
     "required": ["姓名", "邮箱"]
   }
 }
}
</tools>"""
        }]
    },
    {
        "role": "user",
        "content": [{
            "type": "text",
            "text": "请为我朋友John Doe创建联系人，他的邮箱是johndoe@example.com"
        }]
    }
]

# 助手响应
response = {
    "role": "assistant",
    "content": [{
        "type": "text",
        "text": "<tool_call>\n{'name': '创建联系人', 'arguments': {'姓名': 'John Doe', '邮箱': 'johndoe@example.com'}}</tool_call>"
    }]
}

2. RAG实现示例

# RAG数据集结构
messages = [
    {
        "role": "user",
        "content": [{
            "type": "text",
            "text": "巴西外国游客主要来自哪些国家？"
        }]
    },
    {
        "role": "system",
        "content": [{
            "type": "text",
            "text": "{'doc04': {'text': '巴西接待了超过600万外国游客，主要来自阿根廷、美国、巴拉圭、智利、乌拉圭和法国...'}}"
        }]
    }
]

# 助手响应
response = {
    "role": "assistant",
    "content": [{
        "type": "text",
        "text": "访问巴西的主要外国游客来源国：\n\n- 阿根廷\n- 美国\n- 巴拉圭\n- 智利\n- 乌拉圭\n- 法国"
    }]
}

3. 系统引导代理示例

# 系统代理配置
messages = [
    {
        "role": "system",
        "content": [{
            "type": "text",
            "text": "您是多学科科学专家（含物理、化学、生物学），请用生动易懂的方式解释科学概念、理论和现象。"
        }]
    },
    {
        "role": "user",
        "content": [{
            "type": "text",
            "text": "能否帮我撰写关于森林砍伐的论文？"
        }]
    }
]

葡萄牙语专项优化

函数调用

✔️ 葡萄牙语函数命名与描述
✔️ 巴西参数命名规范
✔️ 本地化错误提示
✔️ 巴西用例优先匹配

RAG增强

📜 葡萄牙语内容检索优化
🌎 巴西语境优先级
🔍 本地信息精准提取
📝 语言模式识别增强

代理专项优化

🎭 巴西文化语境强化
📌 区域知识整合
🗣️ 葡萄牙语细微差别理解
📚 巴西特定领域优化

系统要求

Qwen2-VL代码需通过最新版Hugging Face Transformers源码安装：

pip install git+https://github.com/huggingface/transformers

否则可能报错：

KeyError: 'qwen2_vl'

快速开始

安装视觉处理工具集：

pip install qwen-vl-utils

基础使用示例：

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

# 加载模型
model = Qwen2VLForConditionalGeneration.from_pretrained(
    "JJhooww/Fluxi_AI_Small_Vision", torch_dtype="auto", device_map="auto"
)

# 建议启用flash_attention_2提升性能
# model = Qwen2VLForConditionalGeneration.from_pretrained(
#     "JJhooww/Fluxi_AI_Small_Vision",
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
#     device_map="auto",
# )

processor = AutoProcessor.from_pretrained("JJhooww/Fluxi_AI_Small_Vision")

# 可自定义视觉token数量范围（默认4-16384）
# min_pixels = 256*28*28
# max_pixels = 1280*28*28
# processor = AutoProcessor.from_pretrained("JJhooww/Fluxi_AI_Small_Vision", min_pixels=min_pixels, max_pixels=max_pixels)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://example.com/demo.jpg"},
            {"type": "text", "text": "描述这张图片"},
        ],
    }
]

# 预处理
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
).to("cuda")

# 推理生成
output_ids = model.generate(**inputs, max_new_tokens=128)
decoded_text = processor.batch_decode(
    [out[len(inp):] for inp, out in zip(inputs.input_ids, output_ids)],
    skip_special_tokens=True
)
print(decoded_text)

from PIL import Image
import requests
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "JJhooww/Fluxi_AI_Small_Vision", torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("JJhooww/Fluxi_AI_Small_Vision")

# 图像加载
image = Image.open(requests.get("https://example.com/demo.jpg", stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "描述这张图片"},
        ],
    }
]

# 处理流程
inputs = processor(
    text=processor.apply_chat_template(conversation, add_generation_prompt=True),
    images=[image],
    padding=True,
    return_tensors="pt"
).to("cuda")

outputs = model.generate(**inputs, max_new_tokens=128)
print(processor.batch_decode(
    [out[len(inp):] for inp, out in zip(inputs.input_ids, outputs)],
    skip_special_tokens=True
))

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/image1.jpg"},
            {"type": "image", "image": "file:///path/to/image2.jpg"},
            {"type": "text", "text": "分析这些图像的共同点"},
        ],
    }
]

# 处理逻辑同前...

# 帧序列作为视频输入
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": [
                    "file:///path/to/frame1.jpg",
                    "file:///path/to/frame2.jpg",
                    "file:///path/to/frame3.jpg",
                ],
                "fps": 1.0,
            },
            {"type": "text", "text": "描述视频内容"},
        ],
    }
]

# 或直接视频文件输入
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "file:///path/to/video.mp4",
                "max_pixels": 360*420,
                "fps": 1.0,
            },
            {"type": "text", "text": "视频内容描述"},
        ],
    }
]

# 处理逻辑同前...

batch_messages = [
    [
        {"role": "user", "content": [
            {"type": "image", "image": "file:///img1.jpg"},
            {"type": "image", "image": "file:///img2.jpg"},
            {"type": "text", "text": "图像共同点分析"},
        ]}
    ],
    [
        {"role": "system", "content": "你是智能助手"},
        {"role": "user", "content": "请自我介绍"}
    ]
]

# 批量处理逻辑...

模型限制

🔇 不支持音频处理
📅 数据截止2023年6月
🔍 人物/品牌识别有限
🧩 复杂多步任务性能下降
🔢 物体计数精度不足
📏 3D空间推理能力有限

引用文献

基础模型引用

@article{Qwen2VL,
  title={Qwen2-VL：增强任意分辨率下的视觉语言模型感知能力},
  author={王鹏等},
  journal={arXiv预印本},
  year={2024}
}

@article{Qwen-VL,
  title={Qwen-VL：全能视觉语言模型，实现理解、定位、文本阅读等能力},
  author={白晋泽等},
  journal={arXiv预印本},
  year={2023}
}