语言:

• 法语

缩略图: https://raw.githubusercontent.com/AntoineSimoulin/gpt-fr/main/imgs/logo.png 标签:

• 张量流
• PyTorch
• GPT2
• 文本生成图像 许可证: Apache-2.0

模型描述

iGPT-fr 🇫🇷 是由法国国家科学研究中心形式语言学实验室（LLF）开发的法语增量式预训练语言模型。我们在GPT-fr 🇫🇷模型基础上进行了适配，使其能够根据文本输入生成图像。

用途与限制

该模型可用于图像生成任务。当前模型仍处于开发阶段。

使用方法

可通过🤗 Transformers库调用模型，同时需安装Taming Transformers库以实现高分辨率图像合成：

pip install git+https://github.com/CompVis/taming-transformers.git

# 此处为完整Python代码示例，内容与原文一致，此处省略翻译

还可结合CLIP模型筛选结果：

# 此处为完整Python代码示例，内容与原文一致，此处省略翻译

训练数据

我们构建了专用语料库进行生成模型训练。训练语料包含文本-图像对，整合自Laion-5B和WIT等现有数据集，最终包含10,807,534组样本。

训练过程

模型在法国国家科学研究中心Jean Zay超算中心完成预训练。使用Tesla V-100显卡（热设计功耗300W）进行了总计140小时的分布式训练，部署在8个计算节点（每个节点8块GPU）上。通过数据并行技术将微批次分配到计算单元。根据Lacoste等人(2019)提出的机器学习碳排放计算器估算，总碳排放量为1161.22千克二氧化碳当量。