license: cc-by-4.0 language:

• en pipeline_tag: any-to-any tags:
• multimodal library_name: transformers

对齐万物变色龙7B增强版

简介

本仓库为"对齐万物变色龙7B增强版"项目，这是一个强大的文本-图像交错输入输出模型，通过对齐万物算法进行了深度对齐。该模型基于变色龙模型，在对齐万物框架上训练对齐，进一步释放了图像生成能力，并提升了符合人类偏好的对齐能力。

使用说明

使用本模型时，请参考对齐万物仓库获取更多细节，包括训练、推理和评估方法：

git clone https://github.com/PKU-Alignment/align-anything.git
cd align-anything/projects/text_image_to_text_image

然后按照README.md文件中的说明配置环境并运行脚本。

目前官方Transformer仓库暂不支持变色龙模型的图像输出功能（详见此PR），因此我们需要使用特定分支版本。

安装对齐万物并正确配置环境后，可通过以下命令安装稳定的分支版本：

pip install git+https://github.com/htlou/transformers.git@hantao_stable_cham

如需生成图像（纯文本生成可直接使用Transformers），请按照mmsg_chameleon仓库说明进行推理：

git clone https://github.com/htlou/mmsg_chameleon.git
cd mmsg_chameleon

通过以下命令配置环境：

pip install -e . 

环境配置完成后，在scripts/interleaved_gen.sh中设置正确路径，然后运行：

bash scripts/interleaved_gen.sh