🚀 UlizaLlama3模型卡片

UlizaLlama3是基于Meta-Llama-3-8B开发的语言模型，针对斯瓦希里语进行了优化，能更好地理解和生成该语言的文本，在斯瓦希里语的问答等任务中表现出色。

🚀 快速开始

你可以使用这个笔记本进行推理。我们建议你在L4或A100 GPU上进行推理。

✨ 主要特性

• 斯瓦希里语任务表现出色：在斯瓦希里语相关任务上有显著提升。
• 保留基础能力：保留了原始Llama 3模型的通用语言能力。
• 针对性优化：针对斯瓦希里语的理解和生成进行了优化。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

在问答任务中，可直接向模型输入斯瓦希里语问题，模型将给出相应回答。例如：

问题：Andika hadithi ya sungura （翻译：写一个关于兔子的故事）
UlizaLlama3回答：Ilipokuwa ni zamani, kulikuwa na sungura mdogo aliyeishi katika msitu. Kila siku, angechunguza msitu, akigundua mimea na wanyama wapya. Siku moja, alikutana na kiumbe cha fumbo - dragoni. Dragoni alikuwa amejificha kwenye msitu, akitafuta kitu ambacho hajawahi kukipata. Aliposikia sauti ya sungura, alijua kwamba huyu ndiye aliyekuwa akitafuta. Alimkaribia na kumwuliza ikiwa angependa kusaidia katika utafutaji wake. Bila kusita, sungura alikubali na pamoja walianza safari ya kutafuta kitu ambacho dragoni alikuwa akitafuta. Baada ya siku nyingi za kutafuta, hatimaye walikipata. Ilikuwa ni jiwe la kichawi lenye nguvu kubwa. Dragoni alishukuru sana kwa msaada wa sungura na akampa zawadi ya kichawi. Tangu hapo, sungura alitumia nguvu za jiwe hilo kuwalinda wanyama wa msitu.（翻译：从前，有一只小兔子住在森林里。每天，它都会探索森林，发现新的植物和动物。有一天，它遇到了一个神秘的生物——一条龙。龙一直在森林里躲藏，寻找他从未找到过的东西。当它听到兔子的声音时，它知道这就是它一直在寻找的。它走近兔子，问它是否愿意帮助它寻找。兔子毫不犹豫地同意了，它们一起开始了寻找龙所寻找的东西的旅程。经过许多天的寻找，他们终于找到了。那是一块有巨大力量的魔法石头。龙非常感谢兔子的帮助，并给了它一份魔法礼物。从那时起，兔子用那块石头的力量保护森林里的动物。）

高级用法

在特定领域的问答中，如医疗、农业等，可输入更专业的斯瓦希里语问题，模型会根据训练数据给出相应回答。例如：

问题：Ni vitu gani vinasabibisha kuumwa na kichwa?（翻译：什么会导致头痛？）
UlizaLlama3回答：Kuna sababu kadhaa zinazoweza kusababisha maumivu ya kichwa, ikiwa ni pamoja na msongo wa mawazo, ukosefu wa usingizi, mzio, majeraha, na hali za matibabu. Ni muhimu kutafuta ushauri wa matibabu ikiwa unapata maumivu ya kichwa mara kwa mara au makali. （翻译：有几个原因可能导致头痛，包括压力、睡眠不足、过敏、受伤和医疗状况。如果你经常或严重头痛，寻求医疗建议很重要。）

📚 详细文档

模型详情

UlizaLlama3是一个拥有80亿参数的语言模型，基于meta-llama/Meta-Llama-3-8B构建。它经过特别优化，在处理和生成斯瓦希里语文本方面表现出色，旨在提高斯瓦希里语使用者和研究人员的自然语言理解和生成能力。

模型描述

关键特性

• 斯瓦希里语任务性能提升：在斯瓦希里语任务上有更好的表现。
• 保留通用语言能力：保持了原始Llama 3模型的通用语言能力。
• 优化斯瓦希里语处理：针对斯瓦希里语的理解和生成进行了优化。

训练过程

• 基于LoRA的持续预训练：使用公开可用的斯瓦希里语语料库进行持续预训练，使用Meta/Llama3分词器进行预处理。主要关注因果语言建模，即训练模型根据前面的斯瓦希里语标记预测下一个斯瓦希里语标记。采用LoRA技术，冻结基础Meta/Llama3模型的参数，并引入额外的轻量级组件（适配器）。这些适配器专门用于捕捉斯瓦希里语的复杂性、术语和细微差别。这种方法在利用预训练的Meta/Llama3模型的知识和为斯瓦希里语进行优化之间取得了平衡，而无需承担重新训练整个Llama3模型的计算成本。
• 基于LoRA的指令微调：在精心策划的斯瓦希里语指令和响应数据集上进行微调，包括特定任务的数据以提高在常见语言任务上的性能，强调在斯瓦希里语中保持连贯性和上下文理解，纳入安全数据集以提高模型生成安全和道德响应的能力，包括有害内容的示例和适当的无害替代方案，重点是减少偏差并提高模型在斯瓦希里语环境中对文化敏感性的理解。

近似数据集大小

• 持续预训练：[11.3 GB的文本]
• 指令微调：[66,280个指令 - 响应对]

模型信息

模型用途

UlizaLlama3针对下游任务进行了优化，特别是那些需要斯瓦希里语、英语或两者兼有的指令数据集的任务。组织可以针对其特定领域进一步微调该模型。潜在应用领域包括：

• 特定领域的问答。
• 智能助手聊天功能：医疗、农业、法律、教育、旅游和酒店、公共服务、金融、通信、客户服务、商业等领域。

样本评估提示

非预期使用

开发的大语言模型（LLM）能力仅用于研究、社会公益和内部使用目的。对于商业使用和分发，鼓励组织/个人联系Jacaranda Health。为确保UlizaLlama3的道德和负责任使用，我们制定了一套指南。这些指南将活动和实践分为三个主要领域：禁止行为、高风险活动和欺骗性做法。用户通过理解和遵守这些指令，可以为更安全、更值得信赖的环境做出贡献。

• 禁止行为：避免促进暴力、儿童剥削、人口贩运和其他犯罪；禁止骚扰和歧视行为；不从事无执照的专业活动；妥善处理个人数据，避免数据滥用；尊重第三方权利；不创建恶意软件。
• 高风险活动：不在军事、核或间谍领域使用；避免参与非法武器或毒品活动；不在关键基础设施或运输技术中使用；不推广倡导自我伤害或暴力的内容。
• 欺骗性做法：不创建或推广欺诈性或误导性信息；避免诽谤性内容和未经请求的消息；不未经授权冒充他人；不虚假声称HauaLlama的输出；不推广虚假的在线互动。

偏差、风险和局限性

HauaLlama是一项充满潜力的前沿技术，但也存在固有风险。到目前为止，广泛的测试主要在斯瓦希里语和英语中进行，仍有大量未知场景。因此，与其他大语言模型一样，HauaLlama的输出可预测性仍然难以捉摸，当用户提出问题时，它偶尔可能会生成不准确、有偏差或其他令人反感的响应。考虑到这一点，负责任的做法是，在将UlizaLlama3部署到任何应用程序之前，开发人员必须根据其特定用例的独特需求进行认真的安全测试和细致的微调。

联系我们

如有任何问题、反馈或商业咨询，请发送邮件至ai@jacarandahealth.org。

📄 许可证

本模型使用CC BY - NC - SA 4.0 DEED许可证。