许可证名称: apache-2.0 语言:

• 英文 任务标签: 图像文本到文本 标签:
• 多模态 库名称: transformers 基础模型:
• Sapnous/Sapnous-6B 许可证: apache-2.0

Sapnous-6B：增强世界感知能力的视觉语言模型

Sapnous-6B是一款先进的视觉语言模型，旨在通过强大的多模态能力提升对世界的感知和理解。该模型在先前视觉语言架构成功的基础上，进一步提升了性能和效率。

模型架构

• 基础架构: 60亿参数
• 隐藏层大小: 4096
• 注意力头数: 32
• 键/值头数: 8
• 隐藏层数: 28
• 窗口大小: 32768
• 视觉编码器:
  • 深度: 32层
  • 隐藏层大小: 1280
  • 注意力头数: 16
  • 图像块大小: 14x14
  • 窗口大小: 112

评分

📊 基准测试结果

多模态基准测试

推理与视觉理解基准测试

该模型分布在5个safetensors文件中，以实现高效加载和内存管理。每个文件包含特定的层和权重，详细信息记录在model.safetensors.index.json中。

使用方法

from transformers import pipeline
import requests
from PIL import Image
from io import BytesIO

def process_image_from_url(image_url, text_prompt):
    """使用Transformers pipeline处理来自URL的图像"""
    try:
        # 从URL获取图像
        response = requests.get(image_url, stream=True)
        response.raise_for_status()  # 对于错误状态码（4xx或5xx）抛出异常

        # 使用PIL打开图像
        image = Image.open(BytesIO(response.content))

        # 创建pipeline的输入
        inputs = {"image": image, "text": text_prompt}

        # 初始化pipeline
        pipe = pipeline("image-text-to-text", model="Sapnous-AI/Sapnous-VR-6B", trust_remote_code=True)

        # 处理图像和文本
        result = pipe(inputs)
        return result

    except requests.exceptions.RequestException as e:
        print(f"获取图像时出错: {e}")
        return None
    except Exception as e:
        print(f"发生错误: {e}")
        return None

# 示例用法
image_url = "example.com" #替换为你的图像URL
text_prompt = "这张图片中有什么？"

result = process_image_from_url(image_url, text_prompt)

if result:
    print(result)

模型能力

• 多模态理解和生成
• 通过先进的视觉编码器增强视觉感知
• 高效处理长序列
• 在各种视觉语言任务中表现稳健

引用

@misc{sapnous-6b,
    title = {Sapnous-6B},
    author = {Sapnous AI Team},
    year = {2025}
}

@article{Sapnous6B,
    title={Sapnous-6B：增强视觉语言模型在任何分辨率下对世界的感知},
    author={Sapnous AI Team},
    year={2025}
}

@article{Sapnous-VR,
    title={Sapnous-VR：一款多功能视觉语言模型，用于理解、定位、文本阅读及其他},
    author={Sapnous AI Team},
    year={2025}
}

许可证

请参阅LICENSE文件了解使用和分发条款。