pipeline_tag: 任意到任意

这是Chameleon-7b的检查点，使用Lumina-mGPT仓库中的脚本convert_chameleon_weights_to_hf.py转换而来。

此版本旨在简化Lumina-mGPT训练的初始化过程。在使用此模型之前，请确保您已获得访问Hugging Face上官方Chameleon检查点的权限。使用此模型的风险由用户自行承担。

与官方chameleon-7B版本的区别

此模型与官方chameleon-7B版本几乎相同，但在qk-norm的实现上有一个重要区别： 由于未知原因，对于采用8路模型并行训练的34B Chameleon模型，qk-norm层的权重本应在模型并行等级间保持一致，但实际上却出现了差异（详情参见此处）。更直观地说，这意味着注意力头可以分为1组（7B模型）或8组（34B模型），其中qk-norm参数在组内相同但在组间不同。为了解决这个问题，transformers开发了将qk-norm参数复制为num_heads * head_dim形状的实现方式。然而，这意味着如果我们想进一步微调Chameleon模型（如Lumina-mGPT的情况），qk-norm参数将进一步分化，导致每两个注意力头之间的参数都不同，这并不理想。为了解决这个问题，我们略微修改了实现方式，使qk-norm参数的形状变为model_parallel_size x head_dim（其中7B模型的model_parallel_size为1，34B模型为8），并通过repeat_interleave在前向传播时扩展为num_heads * head_dim。这一修改确保了qk-norm参数在现有组内始终保持一致。