🚀 t5-small 导出为OpenVINO IR格式

本项目将 t5-small 模型导出为OpenVINO IR格式，支持多种语言处理任务，如摘要生成、翻译等。

🚀 快速开始

本项目使用的 T5 是一个编码器 - 解码器模型，它在无监督和有监督任务的多任务混合上进行了预训练，并且每个任务都被转换为文本到文本的格式。更多信息请参考原论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer ，作者为 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu。

✨ 主要特性

• 多语言支持：支持英语（en）、法语（fr）、罗马尼亚语（ro）和德语（de）。
• 数据集：使用了c4数据集进行训练。
• 任务类型：适用于摘要生成、翻译等任务。
• 优化框架：采用OpenVINO进行模型优化。

💻 使用示例

基础用法

from transformers import AutoTokenizer, pipeline
from optimum.intel.openvino import OVModelForSeq2SeqLM

model_id = "echarlaix/t5-small-openvino"
model = OVModelForSeq2SeqLM.from_pretrained(model_id, use_cache=False)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# Create a pipeline
translation_pipe = pipeline("translation_en_to_fr", model=model, tokenizer=tokenizer)

text = "He never went out without a book under his arm, and he often came back with two."
result = translation_pipe(text)

📄 许可证

本项目采用Apache-2.0许可证。