license: apache-2.0 tags:

• 图像文本到文本
• 医学
• 视觉

LLaVA-Med v1.5，使用 mistralai/Mistral-7B-Instruct-v0.2 作为LLM以获得更好的商业许可

大型语言和视觉生物医学助手（即“LLaVA-Med”）是一种通过课程学习方法训练的大型语言和视觉模型，旨在将LLaVA适应生物医学领域。这是一个开源版本，仅供研究使用，以促进对应论文的可重复性，该论文声称在开放式生物医学问答任务中性能有所提升，包括常见的视觉问答（VQA）基准数据集，如PathVQA和VQA-RAD。

LLaVA-Med由Chunyuan Li、Cliff Wong、Sheng Zhang、Naoto Usuyama、Haotian Liu、Jianwei Yang、Tristan Naumann、Hoifung Poon和Jianfeng Gao在LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day中提出。

模型日期： LLaVA-Med-v1.5-Mistral-7B于2024年4月训练完成。

更多信息的论文或资源： https://aka.ms/llava-med

关于模型的提问或评论发送地址： https://github.com/microsoft/LLaVA-Med/issues

许可证

mistralai/Mistral-7B-Instruct-v0.2 许可证。

预期用途

数据、代码和模型检查点仅用于（I）未来关于视觉语言处理的研究和（II）参考论文中报告的实验结果的复现。数据、代码和模型检查点不适用于临床护理或任何临床决策目的。

主要预期用途

主要预期用途是支持AI研究人员复现并在此工作基础上进行构建。LLaVA-Med及其相关模型应有助于探索各种生物医学视觉语言处理（VLP）和视觉问答（VQA）的研究问题。

超出范围的用途

任何模型的部署使用案例——无论是商业还是其他用途——均超出范围。尽管我们使用了一系列公开可用的研究基准对模型进行了广泛评估，但这些模型和评估仅供研究使用，不适用于部署使用案例。更多详情请参阅相关论文。

数据

该模型基于PMC-15M数据集构建，这是一个用于生物医学视觉语言处理的大规模并行图像-文本数据集。它包含从PubMed Central的生物医学研究文章中提取的1500万个图-标题对，涵盖了多种生物医学图像类型，如显微镜、放射学、组织学等。