language:

• ar pipeline_tag: visual-question-answering

Dallah：面向阿拉伯语的方言感知多模态大语言模型

Dallah是一款专为阿拉伯语设计的先进多模态大语言模型（MLLM），特别注重理解与生成跨阿拉伯方言的内容。基于LLaVA框架并采用LLaMA-2架构，该模型融合文本与视觉数据，实现全面的多模态交互。

模型详情

• 架构：以LLaMA-2为核心的多模态LLaVA模型
• 支持语言：现代标准阿拉伯语（MSA）及六种主要阿拉伯方言
• 模态：文本与图像

训练数据

Dallah在包含文本和视觉信息的多样化数据集上进行了微调：

• 文本数据：涵盖MSA和六种主要阿拉伯方言，确保模型掌握不同地区的语言变体
• 视觉数据：由图文配对构成，使模型能处理并生成融合多模态的内容

性能表现

Dallah在阿拉伯语MLLM中展现出顶尖性能：

• 在MSA和方言阿拉伯语基准测试中表现卓越
• 能有效处理涉及文本和视觉元素的复杂多模态交互

应用场景

凭借多模态和方言感知能力，Dallah适用于以下领域：

• 多语言聊天机器人：通过理解特定阿拉伯方言提升用户交互体验
• 内容创作：为不同阿拉伯语受众生成符合文化和语言习惯的内容
• 教育工具：通过提供各方言示例辅助语言学习
• 文化保护：在数字平台记录和推广阿拉伯方言使用

引用文献

若在研究或应用中使用Dallah，请引用以下论文：

@inproceedings{alwajih2024dallah,
  title={Dallah: A Dialect-Aware Multimodal Large Language Model for Arabic},
  author={Alwajih, Fakhraddin and Bhatia, Gagan and Abdul-Mageed, Muhammad},
  booktitle={Proceedings of The Second Arabic Natural Language Processing Conference},
  pages={320--336},
  year={2024},
  address={Bangkok, Thailand},
  publisher={Association for Computational Linguistics},
  url={https://aclanthology.org/2024.arabicnlp-1.27}
}