基础模型: OFA-Sys/chinese-clip-vit-base-patch16 库名称: transformers.js

https://huggingface.co/OFA-Sys/chinese-clip-vit-base-patch16 附带ONNX权重，以兼容Transformers.js。

使用方法 (Transformers.js)

如果尚未安装，您可以通过以下命令从NPM安装Transformers.js JavaScript库：

npm i @xenova/transformers

示例： 使用Xenova/chinese-clip-vit-base-patch16进行零样本图像分类。

import { pipeline } from '@xenova/transformers';

// 创建零样本图像分类管道
const classifier = await pipeline('zero-shot-image-classification', 'Xenova/chinese-clip-vit-base-patch16');

// 设置图片URL和候选标签
const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/pikachu.png';
const candidate_labels = ['杰尼龟', '妙蛙种子', '小火龙', '皮卡丘'] // 中文版的杰尼龟、妙蛙种子、小火龙、皮卡丘

// 分类图片
const output = await classifier(url, candidate_labels);
console.log(output);
// [
//   { score: 0.9926728010177612, label: '皮卡丘' },        // 皮卡丘
//   { score: 0.003480620216578245, label: '妙蛙种子' },    // 妙蛙种子
//   { score: 0.001942147733643651, label: '杰尼龟' },      // 杰尼龟
//   { score: 0.0019044597866013646, label: '小火龙' }      // 小火龙
// ]

注：为ONNX权重单独设立仓库是临时解决方案，直至WebML获得更广泛应用。如果您希望使模型适配网页环境，建议使用🤗 Optimum转换为ONNX格式，并参照此仓库结构（ONNX权重存放在名为onnx的子文件夹中）。