基础模型: openai/clip-vit-base-patch16
库名称: transformers.js

适配Transformers.js的ONNX权重版 https://huggingface.co/openai/clip-vit-base-patch16

使用方法 (Transformers.js)

若尚未安装，可通过NPM安装Transformers.js：

npm i @xenova/transformers

示例： 使用pipelineAPI进行零样本图像分类

const classifier = await pipeline('zero-shot-image-classification', 'Xenova/clip-vit-base-patch16');
const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/tiger.jpg';
const output = await classifier(url, ['tiger', 'horse', 'dog']);
// 输出示例:
// [
//   { score: 0.9993917942047119, label: 'tiger' },
//   { score: 0.0003519294841680676, label: 'horse' },
//   { score: 0.0002562698791734874, label: 'dog' }
// ]

示例： 使用CLIPModel进行零样本图像分类

import { AutoTokenizer, AutoProcessor, CLIPModel, RawImage } from '@xenova/transformers';

// 加载组件
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/clip-vit-base-patch16');
const processor = await AutoProcessor.from_pretrained('Xenova/clip-vit-base-patch16');
const model = await CLIPModel.from_pretrained('Xenova/clip-vit-base-patch16');

// 文本处理
const texts = ['一辆汽车的照片', '足球比赛的照片'];
const text_inputs = tokenizer(texts, { padding: true, truncation: true });

// 图像处理
const image = await RawImage.read('https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/football-match.jpg');
const image_inputs = await processor(image);

// 模型推理
const output = await model({ ...text_inputs, ...image_inputs });
/* 输出结构:
{
  logits_per_image: Tensor { ... },  // 图像-文本相似度
  logits_per_text: Tensor { ... },   // 文本-图像相似度
  text_embeds: Tensor { ... },       // 文本嵌入向量
  image_embeds: Tensor { ... }       // 图像嵌入向量
}
*/

示例： 使用CLIPTextModelWithProjection计算文本嵌入

import { AutoTokenizer, CLIPTextModelWithProjection } from '@xenova/transformers';

// 加载组件
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/clip-vit-base-patch16');
const text_model = await CLIPTextModelWithProjection.from_pretrained('Xenova/clip-vit-base-patch16');

// 文本处理与嵌入计算
const texts = ['一辆汽车的照片', '足球比赛的照片'];
const { text_embeds } = await text_model(tokenizer(texts, { padding: true, truncation: true }));
/* 输出:
Tensor {
  dims: [2, 512],  // 2个文本的512维嵌入
  type: 'float32',
  data: [...]
}
*/

示例： 使用CLIPVisionModelWithProjection计算视觉嵌入

import { AutoProcessor, CLIPVisionModelWithProjection, RawImage } from '@xenova/transformers';

// 加载组件
const processor = await AutoProcessor.from_pretrained('Xenova/clip-vit-base-patch16');
const vision_model = await CLIPVisionModelWithProjection.from_pretrained('Xenova/clip-vit-base-patch16');

// 图像处理与嵌入计算
const image = await RawImage.read('https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/football-match.jpg');
const { image_embeds } = await vision_model(await processor(image));
/* 输出:
Tensor {
  dims: [1, 512],  // 单张图像的512维嵌入
  type: 'float32',
  data: [...]
}
*/

注：当前ONNX权重独立存储方案是WebML普及前的过渡方案。建议使用🤗 Optimum转换模型，并参照本仓库结构（ONNX权重存放在onnx子目录）。