语言:

• 英文
  许可证: 其他
  标签:
• HelpingAI
• vortex
  数据集:
• OEvortex/Vortex-50k
  许可证名称: helpingai
  许可证链接: LICENSE.md
  任务标签: 文本生成

模型索引:

• 名称: vortex-3b
  结果:

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: AI2推理挑战赛（25样本）
    类型: ai2_arc
    配置: ARC挑战赛
    拆分: 测试集
    参数:
    小样本数量: 25
    指标:

    • 类型: 标准化准确率
      值: 31.91
      名称: 标准化准确率
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=OEvortex/vortex-3b
      名称: 开放大语言模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: HellaSwag（10样本）
    类型: hellaswag
    拆分: 验证集
    参数:
    小样本数量: 10
    指标:

    • 类型: 标准化准确率
      值: 56.89
      名称: 标准化准确率
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=OEvortex/vortex-3b
      名称: 开放大语言模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MMLU（5样本）
    类型: cais/mmlu
    配置: 全部
    拆分: 测试集
    参数:
    小样本数量: 5
    指标:

    • 类型: 准确率
      值: 27.32
      名称: 准确率
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=OEvortex/vortex-3b
      名称: 开放大语言模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: TruthfulQA（0样本）
    类型: truthful_qa
    配置: 多选
    拆分: 验证集
    参数:
    小样本数量: 0
    指标:

    • 类型: mc2
      值: 37.39
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=OEvortex/vortex-3b
      名称: 开放大语言模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: Winogrande（5样本）
    类型: winogrande
    配置: winogrande_xl
    拆分: 验证集
    参数:
    小样本数量: 5
    指标:

    • 类型: 准确率
      值: 60.14
      名称: 准确率
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=OEvortex/vortex-3b
      名称: 开放大语言模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: GSM8k（5样本）
    类型: gsm8k
    配置: 主集
    拆分: 测试集
    参数:
    小样本数量: 5
    指标:

    • 类型: 准确率
      值: 0.91
      名称: 准确率
      来源:
      URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=OEvortex/vortex-3b
      名称: 开放大语言模型排行榜

模型概述

vortex-3b是由OEvortex开发的27.8亿参数因果语言模型，基于EleutherAI的Pythia-2.8b模型，并在Vortex-50k数据集上进行了微调。

from transformers import pipeline  

# 初始化流水线  
pipe = pipeline("text-generation", model="OEvortex/vortex-3b")  

# 使用流水线生成文本  
text = "从前"  
generated_text = pipe(text, max_length=100, do_sample=True)[0]['generated_text']  

print(generated_text)  

开放大语言模型排行榜评估结果

详细结果请参见此处