许可证：mit
库名称：transformers
数据集：

• mlfoundations/dclm-baseline-1.0
• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• JourneyDB/JourneyDB
  语言：
• en
  基础模型：
• google/gemma-7b
  任务标签：任意到任意

模型详情

我们推出了Liquid，这是一种自回归生成范式，通过将图像标记化为离散代码，并在共享的特征空间中学习这些代码嵌入与文本标记，实现了视觉理解与生成的无缝融合。与以往的多模态大语言模型（MLLM）不同，Liquid仅使用单一的大语言模型（LLM）就实现了这一融合，无需依赖外部预训练的视觉嵌入（如CLIP）。Liquid探索了这种多模态混合模型的扩展规律，并发现了理解任务与生成任务之间相互促进的现象。

变体
Liquid提供六种规模——预训练版本包含0.5B、1B、2B、7B、9B、32B参数（来自多模态家族），指令调优版本包含7B参数（基于GEMMA）。

输入
模型接收文本和图像作为输入。

输出
模型生成文本或图像。

模型架构
Liquid是一种自回归模型，基于现有LLM扩展而来，采用Transformer架构。

引用说明

@article{wu2024liquid,

title={Liquid: 语言模型是可扩展的多模态生成器},  

author={吴俊峰、姜毅、马川凡、刘宇亮、赵恒爽、袁泽欢、白松、白翔},  

journal={arXiv预印本 arXiv:2412.04332},  

year={2024}  

}