🚀 Quilt-LlaVA模型卡片

Quilt-LlaVA是一个开源聊天机器人，通过在组织病理学教育视频源图像和GPT生成的多模态指令遵循数据上微调LLaMA/Vicuna进行训练。它能助力医学大型多模态模型和聊天机器人的研究。

✨ 主要特性

• 模型类型：Quilt-LLaVA 是基于Transformer架构的自回归语言模型，通过在组织病理学教育视频源图像和GPT生成的多模态指令遵循数据上微调LLaMA/Vicuna进行训练。
• 适用领域：专注于医学、组织病理学领域。
• 数据来源：训练数据丰富，涵盖多个数据集。

📚 详细文档

模型详情

• 模型类型：Quilt-LLaVA 是一个开源聊天机器人，通过在组织病理学教育视频源图像和GPT生成的多模态指令遵循数据上微调LLaMA/Vicuna进行训练。它是基于Transformer架构的自回归语言模型。
• 引用信息

@article{seyfioglu2023quilt,
  title={Quilt-LLaVA: Visual Instruction Tuning by Extracting Localized Narratives from Open-Source Histopathology Videos},
  author={Seyfioglu, Mehmet Saygin and Ikezogwo, Wisdom O and Ghezloo, Fatemeh and Krishna, Ranjay and Shapiro, Linda},
  journal={arXiv preprint arXiv:2312.04746},
  year={2023}
}

• 模型日期：Quilt-LlaVA - v1.5 - 7B于2023年11月训练完成。
• 更多信息资源：https://quilt-llava.github.io/

许可证

Llama 2遵循LLAMA 2社区许可证，版权归Meta Platforms, Inc.所有。

提问与反馈渠道

若您对模型有任何疑问或建议，可前往：https://github.com/quilt-llava/quilt-llava.github.io/issues

预期用途

• 主要用途：Quilt-LlaVA主要用于医学大型多模态模型和聊天机器人的研究。
• 主要用户：主要面向AI研究人员。研究人员可借助该模型更好地理解大型视觉 - 语言生成组织病理学模型的鲁棒性、泛化能力以及其他特性、偏差和局限性。

训练数据集

• 来自QUILT - 1M（https://quilt1m.github.io/）的723K过滤图像 - 文本对。
• 来自QUILT - Instruct（https://huggingface.co/datasets/wisdomik/QUILT-LLaVA-Instruct-107K）的107K GPT生成的多模态指令遵循数据。

评估数据集

包含4个学术VQA组织病理学基准测试的集合。

额外的受限访问信息

• 受限提示：请阅读并同意以下条款：1. 提供的请求者详细信息真实有效。2. 该模型不会用于商业/临床目的，仅用于科学研究。3. 数据不会以任何方式或形式进行重新分发、发布、复制或进一步传播，无论是否盈利。4. 在使用此模型/数据的任何出版物中，都将引用相关研究/论文（Quilt - 1M(https://quilt1m.github.io/) 和Quilt - LLaVA (https://quilt-llava.github.io) 论文）。
• 受限字段：需要提供电子邮件、姓名、所属机构、所属机构类型（可选：学术界、工业界、其他）、使用目的（可选：研究、教育、其他），并勾选同意上述使用条款。

信息表格