UNA-ThePitbull-21.4B-v2是一款基于21.4B参数的大型语言模型，性能接近70B模型，融合了情商与智商，擅长对话和文本生成。
下载量 16
发布时间 : 5/28/2024
模型介绍
内容详情
替代品
模型简介
该模型是基于saltlux/luxia-21.4b-alignment-v1.0开发的，通过监督微调(SFT)和直接偏好优化(DPO)训练而成，具有强大的文本生成能力和智能对话能力。
模型特点
高性能
21.4B参数的模型性能接近70B参数模型
情商与智商融合
模型不仅智能，还擅长对话和情感交流
优化训练
采用监督微调(SFT)和直接偏好优化(DPO)训练
量化支持
提供GGUF量化版本，便于部署
模型能力
文本生成
智能对话
推理能力
知识问答
代码生成
使用案例
智能助手
对话系统
用于构建智能对话机器人
提供流畅自然的对话体验
教育
知识问答
用于教育领域的知识问答系统
在MMLU测试中获得68.25准确率
研究
语言模型研究
用于自然语言处理研究
在多个基准测试中表现优异
许可证：afl-3.0
库名称：transformers
标签：
- UNA
- juanako
数据集： - jondurbin/py-dpo-v0.1
- Replete-AI/code_bagel_hermes-2.5
- mlabonne/orpo-dpo-mix-40k
模型索引：
- 名称：UNA-ThePitbull-21.4B-v2
结果：-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：AI2推理挑战（25样本）
类型：ai2_arc
配置：ARC-Challenge
拆分：测试
参数：
样本数：25
指标：- 类型：标准化准确率
值：77.73
名称：标准化准确率
来源：
URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：标准化准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：HellaSwag（10样本）
类型：hellaswag
拆分：验证
参数：
样本数：10
指标：- 类型：标准化准确率
值：91.79
名称：标准化准确率
来源：
URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：标准化准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：MMLU（5样本）
类型：cais/mmlu
配置：全部
拆分：测试
参数：
样本数：5
指标：- 类型：准确率
值：68.25
名称：准确率
来源：
URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：TruthfulQA（0样本）
类型：truthful_qa
配置：多项选择
拆分：验证
参数：
样本数：0
指标：- 类型：mc2
值：78.24
来源：
URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：mc2
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：Winogrande（5样本）
类型：winogrande
配置：winogrande_xl
拆分：验证
参数：
样本数：5
指标：- 类型：准确率
值：87.37
名称：准确率
来源：
URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：GSM8k（5样本）
类型：gsm8k
配置：主要
拆分：测试
参数：
样本数：5
指标：- 类型：准确率
值：63.53
名称：准确率
来源：
URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：IFEval（0样本）
类型：HuggingFaceH4/ifeval
参数：
样本数：0
指标：- 类型：指令级严格准确率和提示级严格准确率
值：37.9
名称：严格准确率
来源：
URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：指令级严格准确率和提示级严格准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：BBH（3样本）
类型：BBH
参数：
样本数：3
指标：- 类型：标准化准确率
值：46.79
名称：标准化准确率
来源：
URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：标准化准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：MATH Lvl 5（4样本）
类型：hendrycks/competition_math
参数：
样本数：4
指标：- 类型：精确匹配
值：9.59
名称：精确匹配
来源：
URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：精确匹配
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：GPQA（0样本）
类型：Idavidrein/gpqa
参数：
样本数：0
指标：- 类型：标准化准确率
值：6.94
名称：标准化准确率
来源：
URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：标准化准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：MuSR（0样本）
类型：TAUR-Lab/MuSR
参数：
样本数：0
指标：- 类型：标准化准确率
值：6.42
名称：标准化准确率
来源：
URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：标准化准确率
-
任务：
类型：文本生成
名称：文本生成
数据集：
名称：MMLU-PRO（5样本）
类型：TIGER-Lab/MMLU-Pro
配置：主要
拆分：测试
参数：
样本数：5
指标：- 类型：准确率
值：27.95
名称：准确率
来源：
URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=fblgit/UNA-ThePitbull-21.4B-v2
名称：开放LLM排行榜
- 类型：准确率
-
UNA-ThePitbull 21.4B v2
介绍业界最佳的大型语言模型（LLM）。性能接近70B模型，但仅基于21.4B参数的saltlux/luxia-21.4b-alignment-v1.0。
此模型未被刻意优化以获得高分而实际无用。我们发布它是因为它真正融合了情商（EQ）与智商（IQ），是一款极其强大、智能且擅长对话的模型。
量化版本可在bartowski/UNA-ThePitbull-21.4B-v2-GGUF获取。
V1与V2的区别
在V2中，我们采用了不同的UNA策略，并部分覆盖了MLP和注意力层。
我们还对V1进行了进一步的监督微调（SFT）和直接偏好优化（DPO），并将很快发布部分相关成果。
变更
- 对V1进行SFT，使用
Replete-AI/code_bagel_hermes-2.5数据集，学习率从1.0e-4降至5.0e-5，训练1个周期。 - 进行DPO，学习率从1.0e-4降至5.0e-5，训练1个周期：
- 使用
mlabonne/orpo-dpo-mix-40k数据集 - 使用
jondurbin/py-dpo-v0.1数据集
- 使用
评估
开放LLM排行榜评估结果
详细结果请见此处
| 指标 | 值 |
|---|---|
| 平均得分 | 77.82 |
| AI2推理挑战（25样本） | 77.73 |
| HellaSwag（10样本） | 91.79 |
| MMLU（5样本） | 68.25 |
| TruthfulQA（0样本） | 78.24 |
| Winogrande（5样本） | 87.37 |
| GSM8k（5样本） | 63.53 |
仅可与其非UNA基础模型比较：原始luxia-21.4b和ThePitbull-v1。
UNA v2（VLLM）评估：
vllm（预训练=/data/tools/mergekit/una-thepitbull-v5，数据类型=bfloat16，GPU内存利用率=0.8，最大模型长度=2048，数据并行规模=2，张量并行规模=4），生成参数：（无），限制：无，样本数：无，批量大小：8
| 任务 |版本| 过滤 |样本数| 指标 |值 | |标准差|
|--------------|----|---------------|-----|-----------|-----|---|-----|
|gsm8k |3 |严格匹配 |5 |精确匹配 |0.7695|± |0.0116|+
| | |灵活提取 |5 |精确匹配 |0.7695|± |0.0116|+
|hellaswag |1 |无 |10 |准确率 |0.8110|± |0.0039|
| | |无 |10 |标准化准确率|0.9169|± |0.0028|+
|winogrande |1 |无 |5 |准确率 |0.8777|± |0.0092|+
|mmlu |N/A |无 |0 |准确率 |0.6427|± |0.0038|-
|arc_challenge |1 |无 |25 |准确率 |0.7713|± |0.0123|
| | |无 |25 |标准化准确率|0.7875|± |0.0120|+
|truthfulqa_mc2|2 |无 |0 |准确率 |0.7824|± |0.0135|-
|mathqa |1 |无 |0 |准确率 |0.4037|± |0.009 |
| | |无 |0 |标准化准确率|0.4034|± |0.009 |+
|pubmedqa |1 |无 |0 |准确率 |0.7260|± |0.020 |+
|boolq |2 |无 |0 |准确率 |0.8602|± |0.0061|+
UNA v1（VLLM）评估
| 任务 |版本| 过滤 |样本数| 指标 |值 | |标准差|
|--------------|----|---------------|-----|-----------|-----|---|-----|
|gsm8k |3 |严格匹配 |5 |精确匹配 |0.7566|± |0.0118|
| | |灵活提取 |5 |精确匹配 |0.7582|± |0.0118|
|hellaswag |1 |无 |10 |准确率 |0.8168|± |0.0039|
| | |无 |10 |标准化准确率|0.9188|± |0.0027|
|winogrande |1 |无 |5 |准确率 |0.8635|± |0.0097|
|mmlu |N/A |无 |0 |准确率 |0.6444|± |0.0038|
|arc_challenge |1 |无 |25 |准确率 |0.7747|± |0.0122|
| | |无 |25 |标准化准确率|0.7850|± |0.0120|
|truthfulqa_mc2|2 |无 |0 |准确率 |0.7902|± |0.0134|
|mathqa |1 |无 |0 |准确率 |0.4030|± |0.009 |
| | |无 |0 |标准化准确率|0.4034|± |0.009 |
|pubmedqa |1 |无 |0 |准确率 |0.6860|± |0.0208|
|boolq |2 |无 |0 |准确率 |0.8401|± |0.0064|
原始模型（VLLM）评估
| 任务 |版本| 过滤 |样本数| 指标 |值 | |标准差|
|--------------|----|---------------|-----|-----------|-----|---|-----|
|gsm8k |3 |严格匹配 |5 |精确匹配 |0.7528|± |0.0119|
| | |灵活提取 |5 |精确匹配 |0.7521|± |0.0119|
|hellaswag |1 |无 |10 |准确率 |0.8117|± |0.0039|
| | |无 |10 |标准化准确率|0.9167|± |0.0028|
|winogrande |1 |无 |5 |准确率 |0.8682|± |0.0095|
|mmlu |N/A |无 |0 |准确率 |0.6448|± |0.0038|
|arc_challenge |1 |无 |25 |准确率 |0.7688|± |0.0123|
| | |无 |25 |标准化准确率|0.7730|± |0.0122|
|truthfulqa_mc2|2 |无 |0 |准确率 |0.7895|± |0.0133|
|mathqa |1 |无 |0 |准确率 |0.4000|± |0.009 |
| | |无 |0 |标准化准确率|0.4003|± |0.009 |
|pubmedqa |1 |无 |0 |准确率 |0.6680|± |0.0211|
|boolq |2 |无 |0 |准确率 |0.8346|± |0.0065|
引用
- mlabonne
- jondurbin & Replete-AI
- bartowski
- saltlux
如果使用UNA模型，请务必引用：
@misc{unathepitbull21b,
title={ThePitbull: Uniform Neural Alignment},
author={Xavier Murias},
year={2024},
publisher = {Juanako.AI},
journal = {HuggingFace repository},
howpublished = {\url{https://huggingface.co/fblgit/UNA-ThePitbull-21.4-v1}},
}
开放LLM排行榜评估结果
详细结果请见此处
| 指标 | 值 |
|---|---|
| 平均得分 | 22.60 |
| IFEval（0样本） | 37.90 |
| BBH（3样本） | 46.79 |
| MATH Lvl 5（4样本） | 9.59 |
| GPQA（0样本） | 6.94 |
| MuSR（0样本） | 6.42 |
| MMLU-PRO（5样本） | 27.95 |
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型
Transformers
Transformers 支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文