许可协议：apache-2.0
支持语言：

• 英文
  基础模型：
• Qwen/Qwen2.5-1.5B-Instruct
• laion/CLIP-convnext_xxlarge-laion2B-s34B-b82K-augreg-soup
  任务类型：问答
  评估指标：
• 准确率
  库名称：transformers

Euclid：通过合成高保真视觉描述增强多模态大语言模型

Euclid-convnext-xxlarge模型卡（2024年12月5日版本）

专为强化低级几何感知能力训练的多模态大语言模型。

模型详情

模型描述

Euclid通过课程学习方法，在160万张合成几何图像及高保真问答对上进行训练。
该模型将ConvNeXt视觉编码器与Qwen-2.5语言模型相结合，通过双层MLP多模态连接器进行衔接。

模型来源

• 代码库：https://github.com/euclid-multimodal/Euclid
• 论文：https://arxiv.org/abs/2412.08737
• 演示：https://euclid-multimodal.github.io/

用途

本模型专精于精确的低级几何感知任务，可实现：

• 点线关系检测
• 点圆关系检测
• 角度分类
• 长度比较
• 几何标注理解

完整输入格式请参阅代码库。

局限性与应用场景

本模型不适用于：

• 综合性图像理解任务
• 超越几何分析的高级认知推理

但其在低级视觉感知方面表现突出，可作为基础模型用于以下领域的专业微调：

• 机器人视觉与自动化系统
• 医学影像与诊断辅助
• 工业质量检测
• 几何教育可视化工具

使用示例

克隆代码库后配置环境，运行：

pip install -U "huggingface_hub[cli]"  
huggingface-cli download --cache-dir $MODEL_PATH EuclidAI/Euclid-convnext-xxlarge  
python euclid/eval/run_euclid_geo.py --model_path $MODEL_PATH --device cuda  

评估结果

几何感知基准测试表现：

引用

若Euclid对您的研究有所帮助，请引用：

@article{zhang2024euclid,  
  title={Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions},  
  author={Zhang, Jiarui and Liu, Ollie and Yu, Tianyu and Hu, Jinyi and Neiswanger, Willie},  
  journal={arXiv preprint arXiv:2412.08737},  
  year={2024}  
}