Einstein V6.1 Llama3 8B

由 Weyaxi 开发

基于Meta-Llama-3-8B在多样化科学数据集上微调的大语言模型，专注于STEM领域任务

大型语言模型

Transformers

英语

开源协议:其他 #STEM领域专家 #多学科知识库 #科学推理增强

下载量 70

发布时间 : 4/19/2024

模型介绍

内容详情

替代品

模型简介

该模型是在Llama-3-8B基础上通过多阶段微调优化的科学专用模型，擅长处理物理、化学、生物、数学等STEM学科问题

模型特点

STEM领域优化

在物理、化学、生物、数学等科学数据集上专门微调，显著提升STEM任务表现

多阶段指令微调

采用ChatML格式的多样化指令数据集进行训练，增强对话和指令跟随能力

高性能推理

在多个科学基准测试中表现优异，如AI2 ARC(62.46%)、MMLU(66.19%)等

模型能力

科学问答

数学问题求解

物理概念解释

化学方程式生成

生物学术语解释

多步骤推理

技术文档生成

使用案例

教育

科学作业辅导

帮助学生解答物理、化学等学科的作业问题

在ScienceQA等测试集上表现良好

STEM概念解释

用通俗语言解释复杂的科学概念

研究

文献理解辅助

帮助研究人员快速理解科学文献中的关键概念

实验设计建议

基于已有研究提供实验设计思路

语言:

英语
许可证: 其他
标签:
蝾螈
训练生成
指令微调
微调
ChatML
GPT4
合成数据
科学
物理
化学
生物
数学
LLaMA
LLaMA3

基础模型: meta-llama/Meta-Llama-3-8B

数据集:

allenai/ai2_arc
camel-ai/physics
camel-ai/chemistry
camel-ai/biology
camel-ai/math
metaeval/reclor
openbookqa
mandyyyyii/scibench
derek-thomas/ScienceQA
TIGER-Lab/ScienceEval
jondurbin/airoboros-3.2
LDJnr/Capybara
Cot-Alpaca-GPT4-From-OpenHermes-2.5
STEM-AI-mtl/Electrical-engineering
knowrohit07/saraswati-stem
sablo/oasst2_curated
lmsys/lmsys-chat-1m
TIGER-Lab/MathInstruct
bigbio/med_qa
meta-math/MetaMathQA-40K
openbookqa
piqa
metaeval/reclor
derek-thomas/ScienceQA
scibench
sciq
Open-Orca/SlimOrca
migtissera/Synthia-v1.3
TIGER-Lab/ScienceEval
allenai/WildChat
microsoft/orca-math-word-problems-200k
openchat/openchat_sharegpt4_dataset
teknium/GPTeacher-General-Instruct
m-a-p/CodeFeedback-Filtered-Instruction
totally-not-an-llm/EverythingLM-data-V3
HuggingFaceH4/no_robots
OpenAssistant/oasst_top1_2023-08-25
WizardLM/WizardLM_evol_instruct_70k

模型索引:

名称: Einstein-v6.1-Llama3-8B
结果:
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: AI2推理挑战赛 (25样本)
  类型: ai2_arc
  配置: ARC-Challenge
  分割: 测试集
  参数:
  少量样本数: 25
  指标:
  - 类型: 标准化准确率
    值: 62.46
    名称: 标准化准确率
    来源:
    网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: HellaSwag (10样本)
  类型: hellaswag
  分割: 验证集
  参数:
  少量样本数: 10
  指标:
  - 类型: 标准化准确率
    值: 82.41
    名称: 标准化准确率
    来源:
    网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: MMLU (5样本)
  类型: cais/mmlu
  配置: 全部
  分割: 测试集
  参数:
  少量样本数: 5
  指标:
  - 类型: 准确率
    值: 66.19
    名称: 准确率
    来源:
    网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: TruthfulQA (0样本)
  类型: truthful_qa
  配置: 多选
  分割: 验证集
  参数:
  少量样本数: 0
  指标:
  - 类型: mc2
    值: 55.1
    来源:
    网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: Winogrande (5样本)
  类型: winogrande
  配置: winogrande_xl
  分割: 验证集
  参数:
  少量样本数: 5
  指标:
  - 类型: 准确率
    值: 79.32
    名称: 准确率
    来源:
    网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: GSM8k (5样本)
  类型: gsm8k
  配置: 主要
  分割: 测试集
  参数:
  少量样本数: 5
  指标:
  - 类型: 准确率
    值: 66.11
    名称: 准确率
    来源:
    网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: IFEval (0样本)
  类型: HuggingFaceH4/ifeval
  参数:
  少量样本数: 0
  指标:
  - 类型: 严格指令级准确率和提示级准确率
    值: 45.68
    名称: 严格准确率
    来源:
    网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: BBH (3样本)
  类型: BBH
  参数:
  少量样本数: 3
  指标:
  - 类型: 标准化准确率
    值: 29.38
    名称: 标准化准确率
    来源:
    网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: MATH 5级 (4样本)
  类型: hendrycks/competition_math
  参数:
  少量样本数: 4
  指标:
  - 类型: 精确匹配
    值: 5.74
    名称: 精确匹配
    来源:
    网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: GPQA (0样本)
  类型: Idavidrein/gpqa
  参数:
  少量样本数: 0
  指标:
  - 类型: 标准化准确率
    值: 4.25
    名称: 标准化准确率
    来源:
    网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: MuSR (0样本)
  类型: TAUR-Lab/MuSR
  参数:
  少量样本数: 0
  指标:
  - 类型: 标准化准确率
    值: 11.23
    名称: 标准化准确率
    来源:
    网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜
- 任务:
  类型: 文本生成
  名称: 文本生成
  数据集:
  名称: MMLU-PRO (5样本)
  类型: TIGER-Lab/MMLU-Pro
  配置: 主要
  分割: 测试集
  参数:
  少量样本数: 5
  指标:
  - 类型: 准确率
    值: 23.68
    名称: 准确率
    来源:
    网址: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=Weyaxi/Einstein-v6.1-Llama3-8B
    名称: 开放LLM排行榜

🔬 Einstein-v6.1-Llama3-8B

该模型是基于meta-llama/Meta-Llama-3-8B在多样化数据集上完整微调的版本。

该模型使用8xRTX3090 + 1xRTXA6000通过axolotl进行微调。

该模型的训练由sablo.ai赞助。

查看axolotl配置

axolotl版本: 0.4.0

基础模型: meta-llama/Meta-Llama-3-8B  
模型类型: LlamaForCausalLM  
分词器类型: AutoTokenizer  

8位加载: false  
4位加载: false  
严格模式: false  

对话模板: chatml  
数据集:  
  - 路径: data/merged_all.json  
    数据集类型: json  
    类型: alpaca  
    对话格式: chatml  

  - 路径: data/gpteacher-instruct-special-alpaca.json  
    数据集类型: json  
    类型: gpteacher  
    对话格式: chatml  

  - 路径: data/wizardlm_evol_instruct_70k_random_half.json  
    数据集类型: json  
    类型: alpaca  
    对话格式: chatml  

  - 路径: data/capybara_sharegpt.json  
    数据集类型: json  
    类型: sharegpt  
    对话格式: chatml  

  - 路径: data/synthia-v1.3_sharegpt_12500.json  
    数据集类型: json  
    类型: sharegpt  
    对话格式: chatml  

  - 路径: data/cot_alpaca_gpt4_extracted_openhermes_2.5_sharegpt.json  
    数据集类型: json  
    类型: sharegpt  
    对话格式: chatml  

  - 路径: data/slimorca_dedup_filtered_95k_sharegpt.json  
    数据集类型: json  
    类型: sharegpt  
    对话格式: chatml  

  - 路径: data/airoboros_3.2_without_contextual_slimorca_orca_sharegpt.json  
    数据集类型: json  
    类型: sharegpt  
    对话格式: chatml  

  - 路径: data/allenai_wild_chat_gpt4_english_toxic_random_half_4k_sharegpt.json  
    数据集类型: json  
    类型: sharegpt  
    严格模式: false  
    对话格式: chatml  

  - 路径: data/pippa_bagel_repo_