基础模型:

• OpenGVLab/InternVL2_5-8B 语言:
• 英文 许可证: apache-2.0 任务标签: 图像文本到文本 库名称: transformers 数据集:
• ayeshaishaq/DriveLMMo1

DriveLMM-o1: 面向自动驾驶推理的大型多模态模型

论文链接

DriveLMM-o1是专为自动驾驶优化的微调大型多模态模型。基于InternVL2.5-8B架构并通过LoRA技术进行适配，该模型利用拼接的多视角图像实现逐步推理。这种结构化方法显著提升了感知、预测和规划等复杂驾驶任务中的最终决策准确性与可解释性。

核心特性:

• 多模态融合: 整合多视角图像实现全景场景理解
• 链式推理: 生成详细的中间推理步骤解释决策过程
• 高效适配: 采用动态图像分块和LoRA微调技术，以极少的额外参数处理高分辨率输入
• 性能突破: 相比现有开源模型，在最终答案准确率和整体推理评分上取得显著提升

性能对比:

使用方法:

通过以下代码加载模型:

from transformers import AutoModel, AutoTokenizer
import torch

path = 'ayeshaishaq/DriveLMMo1'
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True
).eval().cuda()

tokenizer = AutoTokenizer.from_pretrained(
    path,
    trust_remote_code=True,
    use_fast=False
)

详细使用说明和额外配置请参考OpenGVLab/InternVL2_5-8B仓库。

代码仓库: https://github.com/ayesha-ishaq/DriveLMM-o1

局限性: 虽然DriveLMM-o1在自动驾驶任务中表现优异，但该模型针对特定领域推理进行了优化。用户可能需要针对不同驾驶环境进行额外微调或适配。