language:

• zh license: apache-2.0

孟子-奥斯卡多模态预训练模型（中文版）

孟子-奥斯卡模型基于多模态预训练框架Oscar构建，采用孟子-Bert-基础版进行参数初始化。训练数据包含370万组图文对，其中中文图像-描述对70万组，中文图像-问题对300万组，涉及22万张独立图像。

相关论文：孟子：面向中文的轻量化智能预训练模型

使用指南

环境安装

请参阅INSTALL.md获取详细安装说明。

预训练与微调

具体操作流程详见孟子-奥斯卡说明文档。

引用规范

如您认为本技术报告或资源对研究有所帮助，请在论文中引用以下技术报告：

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}