许可协议: cc-by-4.0
语言:

• 英文
  任务类型: 任意到任意
  标签:
• 多模态
  库名称: transformers

对齐万物-变色龙7B基础版

简介

本仓库为"对齐万物-变色龙7B基础版"模型，这是一个支持图文交错输入输出的强大模型。该模型基于变色龙模型，并通过对齐万物框架训练，进一步释放了其图像生成能力。

使用方法

使用本模型时，可参考对齐万物仓库获取更多细节，包括训练、推理和评估：

git clone https://github.com/PKU-Alignment/align-anything.git  
cd align-anything/projects/text_image_to_text_image  

然后按照README.md文件中的说明设置环境并运行脚本。

目前官方Transformer仓库尚未支持变色龙模型的图像输出功能（详见此PR），因此我们需要依赖特定分支版本。

安装对齐万物并正确设置环境后，可通过以下命令安装稳定的分支版本：

pip install git+https://github.com/htlou/transformers.git@hantao_stable_cham  

如需生成图像（纯文本生成可直接使用Transformers），请按照mmsg_chameleon仓库的说明进行推理：

git clone https://github.com/htlou/mmsg_chameleon.git  
cd mmsg_chameleon  

通过以下命令设置环境：

pip install -e .  

环境配置完成后，在scripts/interleaved_gen.sh中设置正确路径，然后运行：

bash scripts/interleaved_gen.sh