基础模型: facebook/nougat-base
库名称: transformers.js
任务标签: 图像转文本
标签:

• 视觉
• nougat

此版本为兼容Transformers.js的ONNX权重模型，源自https://huggingface.co/facebook/nougat-base

使用指南 (Transformers.js)

若尚未安装，请通过NPM安装Transformers.js JavaScript库：

npm i @xenova/transformers

随后可将科学PDF图像转换为Markdown格式，示例如下：

import { pipeline } from '@xenova/transformers';

// 创建图像转文本处理流程
const pipe = await pipeline('image-to-text', 'Xenova/nougat-base');

// 生成Markdown文本
const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/nougat_paper.png';
const output = await pipe(url, {
  min_length: 1,
  max_new_tokens: 40,
  bad_words_ids: [[pipe.tokenizer.unk_token_id]],
});
console.log(output);
// 输出示例: [{ generated_text: "# Nougat: 学术文档神经光学理解系统\n\n Lukas Blecher\n\n通讯作者: liblecher@meta.com\n\nGuillem Cucurull" }]

注：当前为临时方案，在WebML技术普及前单独维护ONNX权重仓库。如需适配网页端，建议使用🤗 Optimum转换为ONNX格式，并参照本仓库结构（ONNX权重存放于onnx子文件夹）。