基础模型: google/siglip-base-patch16-224
库名称: transformers.js
任务标签: 零样本图像分类

适配 https://huggingface.co/google/siglip-base-patch16-224 的ONNX权重版本，以兼容Transformers.js。

使用方法 (Transformers.js)

若未安装，可通过NPM安装Transformers.js库：

npm i @xenova/transformers

示例： 使用Xenova/siglip-base-patch16-224进行零样本图像分类：

import { pipeline } from '@xenova/transformers';

const classifier = await pipeline('zero-shot-image-classification', 'Xenova/siglip-base-patch16-224');
const url = 'http://images.cocodataset.org/val2017/000000039769.jpg';
const output = await classifier(url, ['2只猫', '2只狗'], {
    hypothesis_template: '一张{}的照片',
});
console.log(output);
// [
//   { score: 0.16770583391189575, label: '2只猫' },
//   { score: 0.000022096000975579955, label: '2只狗' }
// ]

示例： 使用SiglipTextModel计算文本嵌入向量。

import { AutoTokenizer, SiglipTextModel } from '@xenova/transformers';

// 加载分词器和文本模型
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/siglip-base-patch16-224');
const text_model = await SiglipTextModel.from_pretrained('Xenova/siglip-base-patch16-224');

// 执行分词
const texts = ['一张2只猫的照片', '一张2只狗的照片'];
const text_inputs = tokenizer(texts, { padding: 'max_length', truncation: true });

// 计算嵌入向量
const { pooler_output } = await text_model(text_inputs);
// 张量 {
//   dims: [ 2, 768 ],
//   type: 'float32',
//   data: Float32Array(1536) [ ... ],
//   size: 1536
// }

示例： 使用SiglipVisionModel计算视觉嵌入向量。

import { AutoProcessor, SiglipVisionModel, RawImage} from '@xenova/transformers';

// 加载处理器和视觉模型
const processor = await AutoProcessor.from_pretrained('Xenova/siglip-base-patch16-224');
const vision_model = await SiglipVisionModel.from_pretrained('Xenova/siglip-base-patch16-224');

// 读取图像并执行处理
const image = await RawImage.read('https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/football-match.jpg');
const image_inputs = await processor(image);

// 计算嵌入向量
const { pooler_output } = await vision_model(image_inputs);
// 张量 {
//   dims: [ 1, 768 ],
//   type: 'float32',
//   data: Float32Array(768) [ ... ],
//   size: 768
// }

注：为ONNX权重单独创建仓库是临时方案，直至WebML获得更广泛支持。如需使模型适配网页端，建议使用🤗 Optimum转换为ONNX格式，并参照本仓库结构（ONNX权重存放在onnx子文件夹中）。