语言:

• 越南语
• 英语 许可证: llama2 任务标签: 文本生成 模型索引:
• 名称: ToRoLaMa-7b-v1.0 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛(25-Shot) 类型: ai2_arc 配置: ARC-Challenge 分割: 测试 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 51.71 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=allbyai/ToRoLaMa-7b-v1.0 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag(10-Shot) 类型: hellaswag 分割: 验证 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 73.82 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=allbyai/ToRoLaMa-7b-v1.0 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU(5-Shot) 类型: cais/mmlu 配置: 全部 分割: 测试 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 45.34 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=allbyai/ToRoLaMa-7b-v1.0 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA(0-shot) 类型: truthful_qa 配置: 多选 分割: 验证 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 44.89 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=allbyai/ToRoLaMa-7b-v1.0 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande(5-shot) 类型: winogrande 配置: winogrande_xl 分割: 验证 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 70.09 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=allbyai/ToRoLaMa-7b-v1.0 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k(5-shot) 类型: gsm8k 配置: 主要 分割: 测试 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 1.36 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=allbyai/ToRoLaMa-7b-v1.0 名称: 开放LLM排行榜

ToRoLaMa: 越南语指令跟随与聊天模型

作者: 杜德光¹, 黎黄¹ 和 阮德胜^2
1Taureau AI, 越南河内
²Torus AI, 法国图卢兹

ToRoLaMa是越南Taureau AI与法国Torus AI合作的成果。它是一个开源、多轮对话的大语言模型(LLM)，最初专注于越南语，是支持多种国际语言的第一步。

• 简介
• 模型权重
• 技术概览
• 评估
• 许可证
• 免责声明
• 致谢

简介

Torus AI(正式名称: Torus Actions SAS)由数学家Nguyen Tien Zung领导的一群科学家于2019年在法国图卢兹创立。名称Torus Actions源自Zung发现的环面守恒原理：

动力系统守恒的一切也由其关联的环面作用守恒。

Taureau AI由Torus AI团队于2021年在河内成立，专注于开发通用AI平台、AI产品工程和软件开发，服务于Torus AI生态系统内外的公司。

我们的共同目标是创造增强智能解决方案，服务数百万人，让世界更美好。

我们的大语言模型ToRoLaMa使用多样化和广泛的数据集开发，旨在提供对语言的增强理解和表示，力求达到甚至超越现有商业LLM的效率、性能和适用性。

通过ToRoLaMa，我们希望为越南语使用者和应用的快速进步做出贡献。我们还计划将其(和其他LLM)扩展到其他语言。

此版本包括7B(70亿参数)版本的模型权重、推理代码和评估结果。

模型权重

我们的最新权重可在此找到：

技术概览

ToRoLaMa的预训练模型基于Vietnamese-LLaMA2，这是bkai-foundation-labs提供的LLaMA 2模型的微调版本，增强了越南语数据集。然后使用43万高质量多轮问答对模型进行训练。训练数据来源包括UIT-ViQUAD、Bactrian-X、Grade-school-math等以及我们内部包含多主题对话的数据。

ToRoLaMa的主要优势包括：

• 根据LLaMA 2许可证开源可用
• 采用创新的越南语分词器，其token比ChatGPT和LLaMA的越南短语短25%，模型更小，速度更快
• 性能优于现有开源模型(见下方基准测试结果)
• 简化部署，适用于广泛的应用场景

评估

我们使用Vicuna和PhoGPT的基准测试结果评估ToRoLaMa，并使用Fastchat MT-bench方法与其他模型比较。下表显示ToRoLaMa与ChatGPT等最先进模型相比具有竞争力。

Fastchat基准测试方法主要用于评估语言模型响应的信息准确性，但未考虑语言选择(英语vs越南语)的准确性。URA-LLaMA-7B和URA-LLaMA-13B经常用英语回答越南语问题。当专门针对越南语熟练度进行基准测试时，它们的性能可能低得多。

基准测试分数如下表所示：

*: URA模型的分数未考虑它们经常用英语回答越南语问题的事实。

各主题的详细基准测试结果如下图所示(我们不显示URA-LLaMA，因为它们有一半回答是英语)：

上述基准测试结果表明，ToRoLaMa在定性任务上优于其他模型，特别是写作和回答能力几乎与GPT-3.5-turbo相当。但由于训练数据性质，在编码和数学等定量任务上表现有限。这表明未来在STEM相关任务上有改进空间。

有关详细基准测试信息及重新运行评估代码，请参阅Fastchat MT-bench方法。我们提供了每个模型的回答、提示和评估结果此处供复现。生成结果也可此处获取用于人工评估。

运行模型

ToRoLaMa使用类似Vicuna的提示格式，专为多轮、高速和token高效的对话设计。示例如下：

用户与AI助手之间的对话。提供准确、对用户有帮助的回答。

用户: 你好
助手: 你好！今天我能为你做些什么？</s>
用户: 如何有效管理时间？
助手: 要有效管理时间，你可以采取以下步骤：

    制定计划: 创建每日或每周的任务清单。

    优先任务: 确定重要任务并优先完成。

    使用日历: 用日历跟踪日常活动和事件。

    使用工具: 利用在线工具或手机应用辅助时间管理。

    避免分心: 工作中避免复杂和不必要的干扰。

    休息: 在任务间安排休息以减少压力提高效率。

    评估改进: 评估你的时间管理方法以寻找改进空间。

这些方法将帮助你更高效地管理时间并提高工作效率。</s>

我们的GitHub仓库中的inference_hf.py文件包含从Huggingface hub运行ToRoLaMa模型的示例代码。使用以下命令执行：

python inference_hf.py

部署

使用Fastchat可轻松部署ToRoLaMa。

步骤1: 安装fastchat

pip3 install "fschat[model_worker,webui]"

步骤2: 运行RESTful API服务器

首先运行控制器：

python3 -m fastchat.serve.controller

然后启动模型工作器：

python3 -m fastchat.serve.model_worker --model-path ToRoLaMa路径 --conv-template vicuna_v1.1

接着启动RESTful API服务器：

python3 -m fastchat.serve.openai_api_server --host localhost --port 8000

最后运行示例streamlit代码：

streamlit run demo.py

许可证

ToRoLaMa根据ToRoLaMa社区许可证协议授权。

ToRoLaMa根据LLaMA 2社区许可证授权，版权所有 © Meta Platforms, Inc. 保留所有权利。

免责声明

此模型源自Meta的LLaMA-2模型，因此严格遵守LLaMA 2社区许可协议。我们明确声明，不提供任何关于模型输出或其中所呈现