许可证：apache-2.0
基础模型：

• microsoft/llava-med-v1.5-mistral-7b
  任务类型：图像文本生成文本
  库名称：transformers
  标签：
• 图像文本生成文本
• 医疗
• 视觉

LLaVA-Med v1.5（基于Mistral-7B-Instruct-v0.2）

LLaVA-Med（生物医学大型语言与视觉助手）是一个专为生物医学应用优化的开源大型视觉语言模型。该模型基于LLaVA框架，通过课程学习增强，并针对开放式生物医学问答任务进行了微调。

本次发布旨在支持对应论文的研究复现，论文展示了模型在PathVQA和VQA-RAD等生物医学视觉问答基准测试中的性能提升。

📌 注意：原始模型权重请参考microsoft/llava-med-v1.5-mistral-7b。

🔬 Libra仓库中的实验性使用

此模型检查点仅供实验用途，可在Libra代码库中直接测试。

关键修改

若需在推理过程中启用重新训练的视觉编码器，请确保应用以下配置：

"unfreeze_mm_vision_tower": true  

📚 了解更多

如需深入了解Libra框架的方法论、理论见解和性能基准，请参阅以下资源：

• 🌐 项目网站：Libra v1.0
• 📄 论文：arXiv:2411.19378
• 🖥️ 代码仓库：X-iZhang/Libra (GitHub)

许可证

遵循mistralai/Mistral-7B-Instruct-v0.2的许可证。