语言:

• 英文
  许可证: Apache-2.0
  基础模型: EleutherAI/pythia-31m
  数据集:
• totally-not-an-llm/EverythingLM-data-V3
• databricks/databricks-dolly-15k
• THUDM/webglm-qa
• starfishmedical/webGPT_x_dolly
• Amod/mental_health_counseling_conversations
• sablo/oasst2_curated
• cognitivecomputations/wizard_vicuna_70k_unfiltered
• mlabonne/chatml_dpo_pairs
  任务标签: 文本生成
  交互示例:
  • 消息:
    • 角色: 系统
      内容: >
      你是一名职业顾问。用户将向你咨询一位寻求职业发展指导的人士，你的任务是根据其技能、兴趣和经验帮助他们确定最适合的职业方向。你还需要研究各种可选方案，解释不同行业的就业市场趋势，并就特定领域所需的资质提出建议。
    • 角色: 用户
      内容: 你好！
    • 角色: 助手
      内容: 您好！有什么可以帮您？
    • 角色: 用户
      内容: >
      我对软件开发职业感兴趣。你有什么建议吗？
  • 消息:
    • 角色: 系统
      内容: "你是一个乐于助人的助手，会以细致和好奇的态度回答用户问题。"
    • 角色: 用户
      内容: 量子计算有哪些潜在应用？
  • 消息:
    • 角色: 系统
      内容: 你是一个知识渊博的助手。请尽可能帮助用户。
    • 角色: 用户
      内容: 要成为更健康的人，我可以采取哪些步骤？
      推理参数:
      参数:
      最大新标记数: 250
      惩罚系数: 0.5
      顶部k值: 2
      重复惩罚: 1.0016
      模型索引:
• 名称: Pythia-31M-Chat-v1
  结果:
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: AI2推理挑战赛（25样本）
    类型: ai2_arc
    配置: ARC挑战赛
    拆分: 测试集
    参数:
    少量样本数: 25
    指标:
    • 类型: 标准化准确率
      值: 22.7
      名称: 标准化准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Pythia-31M-Chat-v1
      名称: 开放大语言模型排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: HellaSwag（10样本）
    类型: hellaswag
    拆分: 验证集
    参数:
    少量样本数: 10
    指标:
    • 类型: 标准化准确率
      值: 25.6
      名称: 标准化准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Pythia-31M-Chat-v1
      名称: 开放大语言模型排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MMLU（5样本）
    类型: cais/mmlu
    配置: 全部
    拆分: 测试集
    参数:
    少量样本数: 5
    指标:
    • 类型: 准确率
      值: 23.24
      名称: 准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Pythia-31M-Chat-v1
      名称: 开放大语言模型排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: Winogrande（5样本）
    类型: winogrande
    配置: winogrande_xl
    拆分: 验证集
    参数:
    少量样本数: 5
    指标:
    • 类型: 准确率
      值: 47.99
      名称: 准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Pythia-31M-Chat-v1
      名称: 开放大语言模型排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: TruthfulQA（0样本）
    类型: truthful_qa
    配置: 多项选择
    拆分: 验证集
    参数:
    少量样本数: 0
    指标:
    • 类型: 多项选择准确率
      值: 0.0
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Pythia-31M-Chat-v1
      名称: 开放大语言模型排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: GSM8k（5样本）
    类型: gsm8k
    配置: 主测试集
    拆分: 测试集
    参数:
    少量样本数: 5
    指标:
    • 类型: 准确率
      值: 0.0
      名称: 准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Felladrin/Pythia-31M-Chat-v1
      名称: 开放大语言模型排行榜

3100万参数Pythia对话模型

• 基础模型: EleutherAI/pythia-31m
• 其他机器学习格式可用性:
  • GGUF格式: Felladrin/gguf-Pythia-31M-Chat-v1
  • ONNX格式: Felladrin/onnx-Pythia-31M-Chat-v1

推荐提示格式

<|im_start|>system  
{系统消息}<|im_end|>  
<|im_start|>user  
{用户消息}<|im_end|>  
<|im_start|>assistant  

推荐推理参数

惩罚系数: 0.5  
顶部k值: 2  
重复惩罚: 1.0016  

训练使用的数据集和参数

SFT训练器配置代码...

DPO训练器配置代码...

开放大语言模型排行榜评估结果

详细结果参见此处