AIbase

Y

YOLO LLaMa 7B VisNav

由 LearnItAnyway 开发
本项目整合了YOLO目标检测模型与LLaMa 2 7b大语言模型，旨在为视障人士的日常出行提供辅助导航支持。
多模态融合
Transformers
开源协议:其他#视障导航#多模态融合#实时物体检测
下载量 19
发布时间 : 7/26/2023
模型介绍
内容详情
替代品

模型简介

该项目结合计算机视觉与自然语言处理技术，通过YOLO模型检测环境物体并转换为结构化数据，再由LLaMa语言模型生成导航指引，实现多模态辅助导航系统。

模型特点

多模态融合
结合视觉检测与语言理解能力，实现环境感知与自然语言交互
无障碍设计
专门为视障人士优化的导航系统，提供口语化环境描述
实时处理
YOLO模型实现高效物体检测，满足实时导航需求

模型能力

环境物体检测
空间关系理解
导航指令生成
多轮对话交互

使用案例

无障碍辅助
室内导航
识别门、电梯等关键设施并提供方位指引
帮助视障人士独立完成室内移动
障碍物预警
检测行进路径上的障碍物并语音提示
降低碰撞风险