许可证：其他 许可证名称：seallms 许可证链接：https://huggingface.co/SeaLLMs/SeaLLM-13B-Chat/blob/main/LICENSE 语言：

• 英语
• 中文
• 越南语
• 印尼语
• 泰语
• 马来语
• 高棉语
• 老挝语
• 缅甸语
• 菲律宾语 标签：
• 多语言
• 东南亚

SeaLLM将能够“看见”！

SeaLMMM-7B - 面向东南亚的大型多语言多模态模型

官网    🤗 技术备忘录    🤗 演示    Github    技术报告

我们推出并展示了SeaLMMM的首个版本——一个统一的多语言多模态模型，在东南亚多种语言的纯文本和视觉任务中均表现出色。

SeaLMMM-7B的能力

• SeaLMMM-7B是纯文本任务中最强的7B视觉语言模型之一，性能接近SeaLLM-7B-v2。它是一个文本优先、视觉次之的模型。
• SeaLMMM-7B能够处理大多数东南亚语言，比仅支持英语的LLava、双语（英+中）的Qwen-VL或Yi-VL更具多语言能力。
• 与LLava或专业视觉语言模型不同，后者要求对话开始时仅有一张图片，SeaLMMM-7B可以无缝处理对话开始时的纯文本对话和对话中的视觉指令，并支持主题和语言切换。
• SeaLMMM-7B可以进行多图像生成或上下文视觉学习，此时应应用Better llava next以启用此功能。

发布与演示

• 演示：SeaLLMs/SeaLLM-7b。
• 模型权重：
  • SeaLMMM-7B-v0.1。
• 探索SeaLLMs：
  • SeaLLMs/SeaLLM-7B-v2.5。
  • SeaLLMs/SeaLLM-7B-v2。
  • SeaLLMs/SeaLLM-7B-v1。

使用条款与许可证： 使用我们发布的权重、代码和演示，即表示您同意并遵守[SeaLLMs使用条款](https://huggingface.co/SeaLLMs/SeaLLM-Chat-13b/edit/main/LICENSE)中规定的条款和条件。

免责声明： 我们必须指出，尽管权重、代码和演示以开放方式发布，类似于其他预训练语言模型，并且尽管我们在红队测试、安全微调和执行方面尽了最大努力，我们的模型仍存在潜在风险，包括但不限于生成不准确、误导性或潜在有害的内容。 开发者和利益相关者在部署前应自行进行红队测试并提供相关安全措施，且必须遵守当地治理和法规。 在任何情况下，作者均不对因使用发布的权重、代码或演示而产生的任何索赔、损害或其他责任负责。

徽标由DALL-E 3生成。

概述

SeaLMMM-7B-v0.1是SeaLLM-7B-v2的多模态扩展版本。 它采用Llava-1.6（Llava-NEXT）架构。 通过联合训练SeaLLM的多语言纯文本数据集与Llava-1.5仅英语视觉数据，以及内部合成的多语言多模态视觉数据和开源数据（如ThaiIDCardSynt）进行训练。

英语视觉问答任务

多语言纯文本世界知识

我们按照推荐的默认设置评估了三个基准：英语的5-shot MMLU，英语、中文、越南语、印尼语、泰语的3-shot M3Exam（M3e）。

在纯文本基准测试中，SeaLMMM-7B-v0.1通常与SeaLLM-7B-v2（其基础LLM模型）持平。这表明我们的多模态训练方案并未显著降低纯文本性能。