库名称: transformers 任务类型: 文本生成 基础模型:

• aisingapore/Llama-SEA-LION-v3-8B-IT 支持语言:
• 英语
• 中文
• 越南语
• 印尼语
• 泰语
• 菲律宾语
• 泰米尔语
• 马来语
• 高棉语
• 老挝语
• 缅甸语
• 爪哇语
• 巽他语 许可证: llama3.1

当前版本: 2025年4月14日

Llama-SEA-LION-v3.5-8B-R

SEA-LION是为东南亚(SEA)地区预训练和指令调优的大型语言模型(LLM)集合。

SEA-LION代表"东南亚语言一体化网络"。

• 开发团队: 新加坡AI产品支柱团队
• 资助方: 新加坡国家研究基金会(NRF)
• 模型类型: 解码器
• 支持语言: 缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语、越南语
• 许可证: Llama 3.1社区许可证

模型详情

模型描述

Llama-SEA-LION-v3.5-8B-R是一个混合功能模型，既能处理复杂推理任务，也能进行通用文本生成，通过分词器的聊天模板进行模式选择。

我们在持续预训练的Llama-SEA-LION-v3-8B基础上进行了英语及东南亚语言(如菲律宾语、印尼语、泰米尔语、泰语和越南语)的指令调优，创建了Llama-SEA-LION-v3.5-8B-R。该解码器模型采用Llama 3.1架构。

分词方面，模型使用Llama 3.1 70B Instruct的默认分词器，上下文长度为128k。

基准测试表现

我们评估了模型在通用语言能力和指令遵循能力两方面的表现。

通用语言能力

使用SEA-HELM评估基准测试多项任务： 包括问答(QA)、情感分析(Sentiment)、毒性检测(Toxicity)、双向翻译(Eng>Lang & Lang>Eng)、摘要生成(Abssum)、因果推理(Causal)、自然语言推理(NLI)和语言诊断(LINDSEA)。

注：SEA-HELM通过严格格式提示获取答案。所有任务中，模型需提供可自动提取答案的标签。有选项的任务应选择预定义选项。各项得分已归一化以消除随机基线影响。

评估采用零样本方式，每个数据集采样100-1000例，使用原生提示。

指令遵循能力

作为指令跟随模型，我们还使用SEA-IFEval(基于IFEval)和SEA-MTBench(基于MT-Bench)进行评估。

这两个数据集原为英文，团队语言学家和母语者合作筛选、本地化并翻译为目标语言，确保示例合理、有意义且自然。

SEA-IFEval 评估模型遵循提示约束的能力，如以特定词/短语开头回答或按指定段落数回答。准确率按正确语言回答比例归一化(若任务正确但语言错误则判定失败)。

SEA-MTBench 评估模型进行多轮(2轮)对话并符合人类需求的能力。使用gpt-4-1106-preview作为裁判模型，以gpt-3.5-turbo-0125为基线。指标为相对基线的加权胜率(各领域平均：数学、推理、STEM、人文、角色扮演、写作、信息提取)，平局计0.5分。

更多性能详情请参考SEA-HELM排行榜：https://leaderboard.sea-lion.ai/

使用方法

可通过🤗 Transformers库运行：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "以下句子的情感是什么？\n句子：这本书非常无聊。\n答案："},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

思维模式切换

默认启用推理模式(thinking_mode="on")。要使用标准生成模式，需传递thinking_mode="off"：

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

注意事项

用户需注意模型存在幻觉倾向，可能生成无关内容或虚构元素。建议谨慎验证模型输出的合理性和一致性。

局限性

安全性

当前SEA-LION模型(包括此商业许可版本)未进行安全对齐。开发者和用户应自行实施安全微调及相关防护措施。作者不对使用模型权重和代码引发的任何索赔、损害或其他责任负责。

贡献邀请

欢迎研究者、开发者和语言爱好者通过以下方式参与改进：

• 报告漏洞
• 共享预训练/指令/偏好数据
• 改进文档
• 提出新评估任务/指标
• 扩展东南亚语言支持 详情请访问GitHub仓库。

团队成员

(名单略，包含Antonyrex Sajeban等30余人)

致谢

AI新加坡是由新加坡国立大学主办、国家研究基金会支持的国家项目。本文观点不代表资助机构立场。

联系方式

咨询请填写SEA-LION问询表

GitHub仓库链接

免责声明

此为商业指令调优模型仓库。模型未进行安全对齐。开发者需自行采取安全措施。作者不对使用后果承担任何责任。