library_name: transformers license: mit language:

• ko

模型详情

KoSaul-8B

KoSaul-8B模型是基于Open-ko-llama3-8B模型通过持续学习（Continue learning）训练而成。

采用A6000*3显卡与Deepspeed off-load技术，实现了批量大小最大化。

模型开发者 白仁杰

训练数据集

• 国家法令门户Open API爬取数据
• AI-hub法律知识数据库
• AI-hub医疗/法律专业书籍语料

超参数设置

• 批量大小96
• 上下文长度1024
• 优化器Adamw
• 学习率5e-5
• 预热最小学习率1e-6
• Zero Stage3卸载技术

困惑度评估（基于法令数据）

• KoSaul-8B：2.649
• Open-Llama3-8B（beomi/Llama-3-Open-Ko-8B）：3.529
• Open-Llama2-7B（beomi/llama-2-ko-7b）：3.393
• Solar-10.7B（chihoonlee10/T3Q-ko-solar-dpo-v1.0）：3.161
• EEVE-10.8B（yanolja/EEVE-Korean-Instruct-10.8B-v1.0）：3.505
• KULLM3（nlpai-lab/KULLM3）：2.903
• MLP-KTLim（MLP-KTLim/Bllossom）：4.385

模型架构 Llama 3采用自回归语言模型架构

发布日期 2024年5月8日

许可证 Llama3使用协议：https://llama.meta.com/llama3/license

责任与安全

我们相信开放式的AI发展能创造更优质、更安全的产品，加速创新并扩大整体市场。我们致力于负责任的人工智能开发，采取了一系列措施来防止滥用和危害，并支持开源社区。

基础模型是具有广泛能力的技术，旨在服务于多样化应用场景。这些模型并非开箱即用地满足所有开发者对各类用例的安全等级偏好，因为不同应用场景的安全需求本质上存在差异。

负责任的LLM应用部署需要通过在整个开发流程中实施安全最佳实践来实现，包括模型预训练、微调阶段，以及部署由多重保障措施组成的系统，根据具体应用场景和目标用户定制安全需求。

作为Llama 3发布的一部分，我们更新了《负责任使用指南》，为开发者提供在应用层面实现模型和系统级安全的最佳实践步骤。同时我们提供包括Meta Llama Guard 2和Code Shield在内的一系列安全保障工具。这些工具已被证明能在保持高度实用性的同时，显著降低LLM系统的残余风险。我们鼓励开发者根据需求调整并部署这些保障措施，并提供参考实现方案供快速上手。

负责任发布

除上述使用注意事项外，我们在发布决策前执行了严格流程，采取额外措施防范滥用和重大风险。

使用条款 访问或使用Llama 3即表示您同意《可接受使用政策》，最新政策文本详见：https://llama.meta.com/llama3/use-policy/

伦理考量与局限性

Llama 3的核心价值观是开放、包容与助益性。它旨在服务所有人群，适用于广泛的应用场景，因此设计上力求让不同背景、经历和观点的用户都能无障碍使用。该模型尊重用户及其需求的本来面貌，避免强加不必要的价值判断，同时理解某些看似有争议的内容在其他情境下可能具有重要价值。它特别保障用户的思想自由与表达尊严——这些正是推动创新与进步的核心价值。

但Llama 3作为新兴技术，其使用必然伴随风险。目前测试仅限英语环境，无法覆盖所有可能场景。与所有大语言模型相同，Llama 3的输出存在不可预测性，在某些情况下可能产生不准确、有偏见或其他不当回应。因此开发者在部署应用前，应针对具体场景进行安全测试与调优。如《负责任使用指南》所述，我们建议将Purple Llama解决方案（特别是提供输入输出过滤基模型的Llama Guard）集成至工作流，在模型级安全之上构建系统级防护。

完整指南详见：http://llama.meta.com/responsible-use-guide