license: apache-2.0 library_name: perception-encoder pipeline_tag: image-feature-extraction

模型详情

📜技术报告 🐱GitHub

感知编码器（PE）是通过简单视觉语言训练实现的最先进图像视频理解编码器，其研究成果发表于论文《感知编码器：最佳视觉嵌入不在网络输出层》。

开发机构：Meta

模型概述：感知编码器（PE）是一系列在各类视觉任务中表现卓越的大规模视觉编码模型。通过鲁棒的对比预训练方案和合成对齐视频的微调，PE不仅在分类检索任务上超越现有模型，其内部生成的特征还具有强大的泛化能力，可扩展至下游任务。PE实现了大规模对比预训练通过对齐调优向下游任务的迁移，充分发挥这些通用特征的潜力。

感知编码器：语言版

PE语言版基于PE核心模型的中间层强大语言能力，参照PLM进一步进行语言建模对齐。我们特别优化了PE语言版的通用性，使其适用于多模态语言建模的各种场景，包括适配不同语言模型解码器（如Llama/Qwen）和评估设置（如原生分辨率/分块处理）。该版本在OCR和文档任务中表现尤为突出。

我们发布了L14-448和G14-448两个PE语言版检查点。以下是它们在冻结编码器、使用2.6M SFT数据混合、仅448px分辨率（无分块）和Llama 3.1 8B解码器的基准测试结果：

以下是通过PLM-8B（第三阶段）进一步对齐PE核心G模型，使用36+1图像分块/32视频帧配合Llama 3.1 8B解码器获得的性能示例：

*该检查点经过分块训练优化，完整分块对齐版本即将发布。

完整性能评估及与其他模型的公平对比详见论文。

使用指南

模型加载代码

模型加载代码详见GitHub仓库：https://github.com/facebookresearch/perception_models

引用

若您的研究受益于我们的工作，请考虑引用：

@article{bolya2025PerceptionEncoder,
  title={感知编码器：最佳视觉嵌入不在网络输出层},
  author={Daniel Bolya等},
  journal={arXiv},
  year={2025}
}

@article{cho2025PerceptionLM,
  title={PerceptionLM：开放获取的精细视觉理解数据与模型},
  author={Jang Hyun Cho等},
  journal={arXiv},
  year={2025}
}