语言:

• 英文 许可证: apache-2.0 标签:
• 文本生成 数据集:
• THUDM/webglm-qa
• databricks/databricks-dolly-15k
• cognitivecomputations/wizard_vicuna_70k_unfiltered
• totally-not-an-llm/EverythingLM-data-V3
• Amod/mental_health_counseling_conversations
• sablo/oasst2_curated
• starfishmedical/webGPT_x_dolly
• Open-Orca/OpenOrca
• mlabonne/chatml_dpo_pairs 基础模型: JackFram/llama-68m 交互示例:
• 消息:
  • 角色: 系统 内容: 你是一名职业顾问。用户将向你提供一位寻求职业生活指导的个人，你的任务是根据他们的技能、兴趣和经验，帮助他们确定最适合的职业。你还应研究各种可用的选项，解释不同行业的就业市场趋势，并就哪些资格对追求特定领域有益提供建议。
  • 角色: 用户 内容: 你好！
  • 角色: 助手 内容: 嗨！我能如何帮助你？
  • 角色: 用户 内容: 我对发展软件工程职业感兴趣。你会推荐我做什么？
• 消息:
  • 角色: 系统 内容: 你是一位知识渊博的助手。尽可能帮助用户。
  • 角色: 用户 内容: 如何变得更健康？
• 消息:
  • 角色: 系统 内容: 你是一位提供简洁回答的有帮助的助手。
  • 角色: 用户 内容: 嗨！
  • 角色: 助手 内容: 你好！我能如何帮助你？
  • 角色: 用户 内容: 我需要建立一个简单的网站。我应该从哪里开始学习网页开发？
• 消息:
  • 角色: 系统 内容: 你是一位非常有创造力的助手。用户会给你一个任务，你应该用你所有的知识来完成它。
  • 角色: 用户 内容: 写一个关于科幻世界中巫师和龙的RPG游戏的背景故事。 推理参数: 参数: 最大新令牌数: 64 惩罚alpha: 0.5 前k个: 4 模型索引:
• 名称: Llama-68M-Chat-v1 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战（25次尝试） 类型: ai2_arc 配置: ARC-挑战 分割: 测试 参数: 少量尝试次数: 25 指标:
    • 类型: 标准化准确率 值: 23.29 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Llama-68M-Chat-v1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag（10次尝试） 类型: hellaswag 分割: 验证 参数: 少量尝试次数: 10 指标:
    • 类型: 标准化准确率 值: 28.27 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Llama-68M-Chat-v1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU（5次尝试） 类型: cais/mmlu 配置: 全部 分割: 测试 参数: 少量尝试次数: 5 指标:
    • 类型: 准确率 值: 25.18 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Llama-68M-Chat-v1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA（0次尝试） 类型: truthful_qa 配置: 多项选择 分割: 验证 参数: 少量尝试次数: 0 指标:
    • 类型: 多项选择2 值: 47.27 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Llama-68M-Chat-v1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande（5次尝试） 类型: winogrande 配置: winogrande_xl 分割: 验证 参数: 少量尝试次数: 5 指标:
    • 类型: 准确率 值: 54.3 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Llama-68M-Chat-v1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k（5次尝试） 类型: gsm8k 配置: 主要 分割: 测试 参数: 少量尝试次数: 5 指标:
    • 类型: 准确率 值: 0.0 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Llama-68M-Chat-v1 名称: 开放LLM排行榜

一个6800万参数的Llama聊天模型

• 基础模型: JackFram/llama-68m
• 数据集:
  • THUDM/webglm-qa
  • databricks/databricks-dolly-15k
  • cognitivecomputations/wizard_vicuna_70k_unfiltered
  • totally-not-an-llm/EverythingLM-data-V3
  • Amod/mental_health_counseling_conversations
  • sablo/oasst2_curated
  • starfishmedical/webGPT_x_dolly
  • Open-Orca/OpenOrca
  • mlabonne/chatml_dpo_pairs
• 其他机器学习格式的可用性:
  • GGUF: afrideva/Llama-68M-Chat-v1-GGUF
  • ONNX: Felladrin/onnx-Llama-68M-Chat-v1

推荐的提示格式

<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{用户消息}<|im_end|>
<|im_start|>assistant

推荐的推理参数

惩罚alpha: 0.5
前k个: 4

开放LLM排行榜评估结果

详细结果可以在这里找到这里