Llama 3.1 MIG Tulu 3 8B SFT

由 xsample 开发

基于自动筛选的5万条Tulu-3-MIG数据集进行微调的Llama-3.1-8B模型

下载量 26

发布时间 : 4/17/2025

模型介绍

内容详情

替代品

模型简介

该模型是基于Llama-3.1-8B架构，使用Tulu-3-MIG数据集进行微调的大语言模型，专注于文本生成任务。

高效数据筛选

使用MIG方法自动筛选高质量训练数据，提升模型性能

性能优化

在多个基准测试中表现优异，特别是在ARC、BBH和GSM等任务上

开源许可

采用Apache-2.0许可证，便于商业和研究使用

文本生成

指令理解与执行

多轮对话

教育

智能辅导

帮助学生解答问题和提供学习指导

客服

自动客服

处理客户咨询和常见问题解答

方法	数据量	ARC	BBH	GSM	HE	MMLU	IFEval	客观平均分	AE	MT	Wild	主观平均分	综合平均分
Pool	939K	69.15	63.88	83.40	63.41	65.77	67.10	68.79	8.94	6.86	-24.66	38.40	53.59
Random	50K	74.24	64.80	70.36	51.22	63.86	61.00	64.25	8.57	7.06	-22.15	39.36	51.81
ZIP	50K	77.63	63.00	52.54	35.98	65.00	61.00	59.19	6.71	6.64	-32.10	35.69	47.44
IFD	50K	75.93	63.56	61.03	49.39	64.39	53.60	61.32	12.30	7.03	-20.20	40.83	51.08
#InsTag	50K	72.54	64.80	69.83	48.17	63.50	65.99	64.14	6.58	6.84	-20.70	38.21	51.17
DEITA	50K	78.98	66.11	74.07	49.39	64.00	64.33	66.15	10.19	6.83	-19.95	39.50	52.83
CaR	50K	78.98	69.04	71.42	52.44	65.15	56.75	65.63	12.55	6.95	-20.67	40.57	53.10
QDIT	50K	79.66	65.42	70.74	53.05	65.06	57.30	65.21	15.78	6.76	-20.56	41.03	53.12
MIG	50K	80.00	66.39	72.02	57.93	64.44	65.06	67.64	14.66	7.32	-17.77	42.99	55.32