许可证：Apache-2.0
语言：

• 英文

CogVLM

CogVLM 是一个强大的开源视觉语言模型（VLM）。CogVLM-17B 拥有100亿视觉参数和70亿语言参数，在10个经典跨模态基准测试中取得领先性能，包括NoCaps、Flicker30k字幕生成、RefCOCO系列、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA等任务中位列第二，性能超越或比肩550亿参数的PaLI-X模型。您可通过在线demo体验多模态对话功能。

本模型权重完全开放学术研究，填写问卷登记后即可免费商用。

快速入门

硬件需求
推理需约40GB GPU显存。若无单卡满足，可使用accelerate库将模型拆分至多块小显存GPU。

依赖安装

pip install torch==2.1.0 transformers==4.35.0 accelerate==0.24.1 sentencepiece==0.1.99 einops==0.7.0 xformers==0.0.22.post7 triton==2.1.0  

代码示例

# 此处为完整Python代码示例，包含对话模式和VQA模式调用  
# 具体代码内容与原文保持一致，此处省略以节省篇幅  

多卡部署方案
当显存不足时，可通过以下方式拆分模型（以双24GB GPU+16GB CPU为例）：

# 展示使用accelerate库进行多卡分配的完整流程  
# 包含设备映射配置和检查权重分布的代码  

技术原理

CogVLM由四大核心组件构成：

1. 视觉Transformer（ViT）编码器
2. MLP适配层
3. 预训练语言模型（GPT）
4. 视觉专家模块

技术细节详见论文。

许可协议

代码遵循Apache-2.0许可证，模型权重使用需遵守模型许可。

引用文献

若研究中使用本工作，请引用：

@article{wang2023cogvlm,  
      title={CogVLM: Visual Expert for Pretrained Language Models},   
      author={王伟汉等},  
      year={2023},  
      eprint={2311.03079},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV}  
}