许可证：其他
基础模型：

• deepseek-ai/Janus-1.3B
  任务标签：任意到任意
  库名称：transformers.js
  标签：
• 文本到图像
• 图像到文本
• 图像文本到文本

https://huggingface.co/deepseek-ai/Janus-1.3B 包含ONNX权重，兼容Transformers.js。

使用方法（Transformers.js）

如果尚未安装，可以通过以下命令从NPM安装Transformers.js JavaScript库：

npm i @huggingface/transformers  

示例： 图像+文本到文本

import { AutoProcessor, MultiModalityCausalLM } from "@huggingface/transformers";  

// 加载处理器和模型  
const model_id = "onnx-community/Janus-1.3B-ONNX";  
const processor = await AutoProcessor.from_pretrained(model_id);  
const model = await MultiModalityCausalLM.from_pretrained(model_id);  

// 准备输入  
const conversation = [  
  {  
    role: "User",  
    content: "<image_placeholder>\n将公式转换为LaTeX代码。",  
    images: ["https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/quadratic_formula.png"],  
  },  
];  
const inputs = await processor(conversation);  

// 生成响应  
const outputs = await model.generate({  
  ...inputs,  
  max_new_tokens: 150,  
  do_sample: false,  
});  

// 解码输出  
const new_tokens = outputs.slice(null, [inputs.input_ids.dims.at(-1), null]);  
const decoded = processor.batch_decode(new_tokens, { skip_special_tokens: true });  
console.log(decoded[0]);  

示例输出：

当然，以下是给定公式的LaTeX代码：  

```  
x = \frac{-b \pm \sqrt{b^2 - 4a c}}{2a}  
```  

这段代码表示变量 \( x \) 的数学表达式。  

示例： 文本到图像

import { AutoProcessor, MultiModalityCausalLM } from "@huggingface/transformers";  

// 加载处理器和模型  
const model_id = "onnx-community/Janus-1.3B-ONNX";  
const processor = await AutoProcessor.from_pretrained(model_id);  
const model = await MultiModalityCausalLM.from_pretrained(model_id);  

// 准备输入  
const conversation = [  
  {  
    role: "User",  
    content: "一只可爱的小狐狸，有着大大的棕色眼睛，背景是秋天的落叶，迷人、永恒、毛茸茸、闪亮的鬃毛，花瓣，童话风格，虚幻引擎5和Octane渲染，高度详细，照片级真实感，电影效果，自然色彩。",  
  },  
];  
const inputs = await processor(conversation, { chat_template: "text_to_image" });  

// 生成响应  
const num_image_tokens = processor.num_image_tokens;  
const outputs = await model.generate_images({  
  ...inputs,  
  min_new_tokens: num_image_tokens,  
  max_new_tokens: num_image_tokens,  
  do_sample: true,  
});  

// 保存生成的图像  
await outputs[0].save("test.png");  

示例输出：

想试试这个模型吗？查看在线WebGPU演示。