🚀 Llama-SEA-LION-v3-8B-IT

SEA-LION是一系列为东南亚地区预训练和指令微调的大语言模型，致力于解决该地区多语言处理问题，为东南亚语言的自然语言处理提供强大支持。

🚀 快速开始

SEA-LION 是一系列大语言模型（LLMs），专为东南亚（SEA）地区进行了预训练和指令微调。

SEA-LION 代表 Southeast Asian Languages In One Network（东南亚语言一网打尽）。

• 开发者：AI Singapore 产品支柱团队
• 资助方：新加坡国家研究基金会（Singapore NRF）
• 模型类型：解码器
• 支持语言：缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语、越南语
• 许可证：Llama 3.1 社区许可证

✨ 主要特性

模型详情

模型描述

我们在 持续预训练的 Llama-SEA-LION-v3-8B（一个使用 Llama 3.1 架构的解码器模型）上进行了英语以及印尼语、爪哇语、巽他语、泰米尔语、泰语和越南语等东南亚语言的指令微调，从而创建了 Llama-SEA-LION-v3-8B-IT。

在分词方面，该模型采用了 Llama 3.1 8B Instruct 中使用的默认分词器。模型的上下文长度为 128k。

基准性能

我们对 Llama-SEA-LION-v3-8B-IT 的通用语言能力和指令遵循能力进行了评估。

通用语言能力

在评估通用语言能力时，我们使用了 SEA-HELM 评估基准 进行了各种任务的评估。 这些任务包括问答（QA）、情感分析（Sentiment）、毒性检测（Toxicity）、双向翻译（Eng>Lang 和 Lang>Eng）、抽象摘要（Abssum）、因果推理（Causal）、自然语言推理（NLI）和语言诊断（LINDSEA）。

注意：SEA-HELM 使用提示来引出严格格式的答案。对于所有任务，模型需要提供一个答案标签，以便自动提取答案。对于提供了选项的任务，答案应包含预定义的选项之一。每个任务的分数会根据随机机会的基线性能进行归一化处理。

评估是在每个数据集的 100 - 1000 个实例样本上使用原生提示进行的 零样本 评估。

指令遵循能力

由于 Llama-SEA-LION-v3-8B-IT 是一个指令遵循模型，我们还使用两个数据集 SEA-IFEval（基于 IFEval）和 SEA-MTBench（基于 MT-Bench）对其指令遵循能力进行了评估。

由于这两个数据集最初是英文的，团队中的语言学家和母语人士共同对数据集进行了过滤、本地化和翻译成各自的目标语言，以确保示例仍然合理、有意义和自然。

SEA-IFEval

SEA-IFEval 评估模型遵循提示中提供的约束条件的能力，例如以特定的单词/短语开始回复或以一定数量的部分进行回答。此外，准确性会根据正确语言的回复比例进行归一化处理（如果模型正确执行了任务但回复语言错误，则判定任务失败）。

SEA-MTBench

SEA-MTBench 评估模型进行多轮（2 轮）对话并以符合人类需求的方式进行回复的能力。我们使用 gpt-4-1106-preview 作为评判模型，并与 gpt-3.5-turbo-0125 作为基线模型进行比较。使用的指标是相对于基线模型的加权胜率（即每个类别：数学、推理、STEM、人文、角色扮演、写作、提取的平均胜率）。平局得分为 0.5。

有关 Llama-SEA-LION-v3-8B-IT 基准性能的更多详细信息，请参考 SEA-HELM 排行榜，https://leaderboard.sea-lion.ai/。

📦 安装指南

Llama-SEA-LION-v3-8B-IT 可以使用🤗 Transformers 库运行。

💻 使用示例

基础用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-8B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高级用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-8B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 在此指定版本
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

注意事项

用户需要注意，我们的模型存在一些需要考虑的局限性。和许多大语言模型一样，该模型可能会产生幻觉，偶尔会生成无关内容，引入与提供的上下文无关的虚构元素。由于模型推理可能存在不一致性，用户在解释和验证模型的回复时也应谨慎。

📚 详细文档

局限性

安全性

当前的 SEA-LION 模型，包括这个商业许可版本，尚未进行安全对齐。开发者和用户应该自行进行安全微调及相关安全措施。作者对于因使用发布的权重和代码而产生的任何索赔、损害或其他责任概不负责。

贡献邀请

我们鼓励研究人员、开发者和语言爱好者积极为 SEA-LION 的改进和扩展做出贡献。贡献可以包括识别和报告错误、分享预训练、指令和偏好数据、提高文档的可用性、提出并实现新的模型评估任务和指标，或者在更多东南亚语言中训练模型版本。请分享您的专业知识和见解，帮助我们塑造 SEA-LION 的未来，使这些模型更具可访问性、准确性和通用性。有关贡献邀请的更多信息，请查看我们的 GitHub 仓库。

团队成员

Chan Adwin、Cheng Nicholas、Choa Esther、Huang Yuli、Hulagadri Adithya Venkatadri、Lau Wayne、Lee Chwan Ren、Leong Wai Yi、Leong Wei Qi、Limkonchotiwat Peerat、Liu Bing Jie Darius、Montalan Jann Railey、Ng Boon Cheong Raymond、Ngui Jian Gang、Nguyen Thanh Ngan、Ong Brandon、Ong Tat-Wee David、Ong Zhi Hao、Rengarajan Hamsawardhini、Siow Bryan、Susanto Yosephine、Tai Ngee Chia、Tan Choon Meng、Teng Walter、Teo Eng Sipp Leslie、Teo Wei Yi、Tjhi William、Yeo Yeow Tong、Yong Xianbin

致谢

AI Singapore 是一个由新加坡国家研究基金会支持、新加坡国立大学主办的国家项目。本材料中表达的任何观点、研究结果、结论或建议均为作者个人观点，不反映新加坡国家研究基金会或新加坡国立大学的观点。

联系我们

如需更多信息，请使用 SEA-LION 咨询表单 与我们联系。

SEA-LION 的 GitHub 仓库链接

免责声明

这是商业指令微调模型的仓库。 该模型 尚未进行安全对齐。 开发者和用户应该自行进行安全微调及相关安全措施。 作者对于因使用发布的权重和代码而产生的任何索赔、损害或其他责任概不负责。