许可证: mit
语言:

• tr
  任务标签: 图像文本到文本
  标签:
• 土耳其语
• turkish
• LLaVA
  数据集:
• liuhaotian/LLaVA-CC3M-Pretrain-595K

Llava-CosmosLlama

这是一个专为多模态视觉指令跟随任务设计的土耳其语视觉语言模型。该模型采用LLaVA（大型语言与视觉助手）架构，集成了ytucosmos/Turkish-Llama-8b-Instruct-v0.1语言模型，能够同时处理视觉（图像）和文本输入，从而理解并执行土耳其语提供的指令。

模型详情

本模型基于翻译为土耳其语的**LLaVA-CC3M-Pretrain-595K**数据集（通过DeepL翻译）进行预训练，并通过以下数据集的子集进行微调以增强视觉推理与理解能力：

• Stanford GQA
• VisualGenome
• COCO
• 包含书籍封面的11万轮多轮指令跟随数据，用于提升模型在OCR相关任务中的表现。

使用示例

使用lmdeploy

1. 安装环境：

conda create -n lmdeploy python=3.8 -y  
conda activate lmdeploy  
pip install lmdeploy  

2. 运行代码：

from lmdeploy import pipeline, ChatTemplateConfig  
from lmdeploy.vl import load_image  

pipe = pipeline("ytu-ce-cosmos/Turkish-LLaVA-v0.1",  
                chat_template_config=ChatTemplateConfig(model_name='llama3'))  

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/idefics-im-captioning.jpg"  
image = load_image(url)  

response = pipe(('Bu resimde öne çıkan ögeler nelerdir?', image))  

print(response)  

"""  
图片中，一只小狗坐在开满鲜花的花园里，背景有一棵树。  
小狗在花丛中坐着，从环绕的花朵间向外张望。  
这一场景展现了小狗在花园中享受时光、探索周围环境的宁静祥和氛围。  
"""  

示例图片：

致谢

• 本项研究使用的计算资源由土耳其国家高性能计算中心（UHeM）提供。
• 感谢Hugging Face团队的慷慨支持，使我们能够从其S3存储下载模型🤗

引用

@inproceedings{zeer2024cosmos,  
  title={Cosmos-LLaVA: Chatting with the Visual},  
  author={Zeer, Ahmed and Dogan, Eren and Erdem, Yusuf and {\.I}nce, Elif and Shbib, Osama and Uzun, M Egemen and Uz, Atahan and Yuce, M Kaan and Kesgin, H Toprak and Amasyali, M Fatih},  
  booktitle={2024 8th International Artificial Intelligence and Data Processing Symposium (IDAP)},  
  pages={1--7},  
  year={2024},  
  organization={IEEE}  
}  

联系方式

伊斯坦布尔理工大学计算机工程系COSMOS人工智能研究组
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr