J.O.S.I.E.3-Beta12-7B-slerp 是一个通过合并 Weyaxi/Einstein-v6-7B 和 argilla/CapybaraHermes-2.5-Mistral-7B 模型而成的7B参数大语言模型,支持多语言交互
下载量 17
发布时间 : 4/23/2024
模型介绍
内容详情
替代品
模型简介
该模型是一个私人超级智能AI助手,专注于提供高质量的对话和问答服务,支持多种语言和复杂任务处理。
模型特点
多语言支持
支持包括中文在内的6种语言交互
合并模型优势
结合Einstein-v6和CapybaraHermes两个模型的优势,通过slerp方法合并
ChatML格式
采用标准化的ChatML提示格式,便于集成到对话系统中
量化支持
提供GGUF量化版本,便于在不同硬件上部署
模型能力
多语言文本生成
智能对话
知识问答
任务完成
使用案例
个人助手
私人AI助手
作为个人日常助手,回答各种问题并提供建议
在HellaSwag测试集上达到83.98%的归一化准确率
教育
学科知识问答
回答高中和大学水平的各学科问题
在高中地理测试中达到79.8%准确率
标签:
- 合并
- mergekit
- lazymergekit
- Weyaxi/Einstein-v6-7B
- argilla/CapybaraHermes-2.5-Mistral-7B 基础模型:
- Weyaxi/Einstein-v6-7B
- argilla/CapybaraHermes-2.5-Mistral-7B 许可证: apache-2.0 语言:
- 英语
- 德语
- 西班牙语
- 法语
- 日语
- 中文
J.O.S.I.E.3-Beta12-7B-slerp
J.O.S.I.E.3-Beta12-7B-slerp 是通过 LazyMergekit 合并以下模型而成:
此模型已在我的自定义 J.O.S.I.E.v3.11 数据集上进一步微调,采用 ChatML 提示格式。
<|im_start|>system
你是 JOSIE,我的私人超级智能 AI 助手。<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
{{ .Response }}<|im_end|>
在 ollama 中运行:
ollama run goekdenizguelmez/j.o.s.i.e.v3-beta12.1
目前仅支持 q4-k-m 版本!
🧩 配置
切片:
- 来源:
- 模型: Weyaxi/Einstein-v6-7B
层范围: [0, 32]
- 模型: argilla/CapybaraHermes-2.5-Mistral-7B
层范围: [0, 32]
合并方法: slerp
基础模型: argilla/CapybaraHermes-2.5-Mistral-7B
参数:
t:
- 过滤器: self_attn
值: [0, 0.5, 0.3, 0.7, 1]
- 过滤器: mlp
值: [1, 0.5, 0.7, 0.3, 0]
- 值: 0.5
数据类型: bfloat16
💻 使用
!pip install -qU transformers accelerate
from transformers import AutoTokenizer
import transformers
import torch
模型 = "Isaak-Carter/J.O.S.I.E.3-Beta12-7B-slerp"
消息 = [{"role": "user", "content": "什么是大语言模型?"}]
分词器 = AutoTokenizer.from_pretrained(模型)
提示 = 分词器.apply_chat_template(消息, tokenize=False, add_generation_prompt=True)
管道 = transformers.pipeline(
"文本生成",
model=模型,
torch_dtype=torch.float16,
device_map="auto",
)
输出 = 管道(提示, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(输出[0]["生成文本"])
评估结果:
{
"全部": {
"准确率": 0.635008846776534,
"准确率标准误差": 0.03244450973873997,
"归一化准确率": 0.6365238167399629,
"归一化准确率标准误差": 0.033101612504829854,
"多选题1": 0.397796817625459,
"多选题1标准误差": 0.017133934248559635,
"多选题2": 0.5816259277988214,
"多选题2标准误差": 0.01521267822060948
},
"测试集|arc:挑战|25": {
"准确率": 0.6220136518771331,
"准确率标准误差": 0.0141696645203031,
"归一化准确率": 0.6459044368600683,
"归一化准确率标准误差": 0.013975454122756557
},
"测试集|hellaswag|10": {
"准确率": 0.6512646883091018,
"准确率标准误差": 0.004755960559929163,
"归一化准确率": 0.8397729535949015,
"归一化准确率标准误差": 0.003660668242740655
},
"测试集|hendrycksTest-抽象代数|5": {
"准确率": 0.4,
"准确率标准误差": 0.04923659639173309,
"归一化准确率": 0.4,
"归一化准确率标准误差": 0.04923659639173309
},
"测试集|hendrycksTest-解剖学|5": {
"准确率": 0.5703703703703704,
"准确率标准误差": 0.042763494943765995,
"归一化准确率": 0.5703703703703704,
"归一化准确率标准误差": 0.042763494943765995
},
"测试集|hendrycksTest-天文学|5": {
"准确率": 0.6842105263157895,
"准确率标准误差": 0.0378272898086547,
"归一化准确率": 0.6842105263157895,
"归一化准确率标准误差": 0.0378272898086547
},
"测试集|hendrycksTest-商业伦理|5": {
"准确率": 0.58,
"准确率标准误差": 0.049604496374885836,
"归一化准确率": 0.58,
"归一化准确率标准误差": 0.049604496374885836
},
"测试集|hendrycksTest-临床知识|5": {
"准确率": 0.6792452830188679,
"准确率标准误差": 0.028727502957880267,
"归一化准确率": 0.6792452830188679,
"归一化准确率标准误差": 0.028727502957880267
},
"测试集|hendrycksTest-大学生物学|5": {
"准确率": 0.7361111111111112,
"准确率标准误差": 0.03685651095897532,
"归一化准确率": 0.7361111111111112,
"归一化准确率标准误差": 0.03685651095897532
},
"测试集|hendrycksTest-大学化学|5": {
"准确率": 0.54,
"准确率标准误差": 0.05009082659620332,
"归一化准确率": 0.54,
"归一化准确率标准误差": 0.05009082659620332
},
"测试集|hendrycksTest-大学计算机科学|5": {
"准确率": 0.51,
"准确率标准误差": 0.05024183937956912,
"归一化准确率": 0.51,
"归一化准确率标准误差": 0.05024183937956912
},
"测试集|hendrycksTest-大学数学|5": {
"准确率": 0.29,
"准确率标准误差": 0.04560480215720684,
"归一化准确率": 0.29,
"归一化准确率标准误差": 0.04560480215720684
},
"测试集|hendrycksTest-大学医学|5": {
"准确率": 0.6416184971098265,
"准确率标准误差": 0.036563436533531585,
"归一化准确率": 0.6416184971098265,
"归一化准确率标准误差": 0.036563436533531585
},
"测试集|hendrycksTest-大学物理学|5": {
"准确率": 0.3235294117647059,
"准确率标准误差": 0.04655010411319619,
"归一化准确率": 0.3235294117647059,
"归一化准确率标准误差": 0.04655010411319619
},
"测试集|hendrycksTest-计算机安全|5": {
"准确率": 0.76,
"准确率标准误差": 0.04292346959909283,
"归一化准确率": 0.76,
"归一化准确率标准误差": 0.04292346959909283
},
"测试集|hendrycksTest-概念物理学|5": {
"准确率": 0.5829787234042553,
"准确率标准误差": 0.03223276266711712,
"归一化准确率": 0.5829787234042553,
"归一化准确率标准误差": 0.03223276266711712
},
"测试集|hendrycksTest-计量经济学|5": {
"准确率": 0.4649122807017544,
"准确率标准误差": 0.046920083813689104,
"归一化准确率": 0.4649122807017544,
"归一化准确率标准误差": 0.046920083813689104
},
"测试集|hendrycksTest-电气工程|5": {
"准确率": 0.5517241379310345,
"准确率标准误差": 0.04144311810878152,
"归一化准确率": 0.5517241379310345,
"归一化准确率标准误差": 0.04144311810878152
},
"测试集|hendrycksTest-初等数学|5": {
"准确率": 0.42063492063492064,
"准确率标准误差": 0.025424835086924006,
"归一化准确率": 0.42063492063492064,
"归一化准确率标准误差": 0.025424835086924006
},
"测试集|hendrycksTest-形式逻辑|5": {
"准确率": 0.4444444444444444,
"准确率标准误差": 0.044444444444444495,
"归一化准确率": 0.4444444444444444,
"归一化准确率标准误差": 0.044444444444444495
},
"测试集|hendrycksTest-全球事实|5": {
"准确率": 0.44,
"准确率标准误差": 0.04988876515698589,
"归一化准确率": 0.44,
"归一化准确率标准误差": 0.04988876515698589
},
"测试集|hendrycksTest-高中生物学|5": {
"准确率": 0.7548387096774194,
"准确率标准误差": 0.024472243840895525,
"归一化准确率": 0.7548387096774194,
"归一化准确率标准误差": 0.024472243840895525
},
"测试集|hendrycksTest-高中化学|5": {
"准确率": 0.5024630541871922,
"准确率标准误差": 0.035179450386910616,
"归一化准确率": 0.5024630541871922,
"归一化准确率标准误差": 0.035179450386910616
},
"测试集|hendrycksTest-高中计算机科学|5": {
"准确率": 0.66,
"准确率标准误差": 0.04760952285695237,
"归一化准确率": 0.66,
"归一化准确率标准误差": 0.04760952285695237
},
"测试集|hendrycksTest-高中欧洲历史|5": {
"准确率": 0.7818181818181819,
"准确率标准误差": 0.03225078108306289,
"归一化准确率": 0.7818181818181819,
"归一化准确率标准误差": 0.03225078108306289
},
"测试集|hendrycksTest-高中地理|5": {
"准确率": 0.797979797979798,
"准确率标准误差": 0.02860620428922988,
"归一化准确率": 0.797979797979798,
"归一化准确率标准误差": 0.02860620428922988
},
"测试集|hendrycksTest-高中政府与政治|5": {
"准确率": 0.8756476683937824,
"准确率标准误差": 0.023814477086593552,
"归一化准确率": 0.8756476683937824,
"归一化准确率标准误差": 0.023814477086593552
},
"测试集|hendrycksTest-高中宏观经济学|5": {
"准确率": 0.658974358974359,
"准确率标准误差": 0.02403548967633509,
"归一化准确率": 0.658974358974359,
"归一化准确率标准误差": 0.02403548967633509
},
"测试集|hendrycksTest-高中数学|5": {
"准确率": 0.32592592592592595,
"准确率标准误差": 0.02857834836547308,
"归一化准确率": 0.32592592592592595,
"归一化准确率标准误差": 0.02857834836547308
},
"测试集|hendrycksTest-高中微观经济学|5": {
"准确率": 0.6638655462184874,
"准确率标准误差": 0.030684737115135363,
"归一化准确率": 0.6638655462184874,
"归一化准确率标准误差": 0.030684737115135363
},
"测试集|hendrycksTest-高中物理|5": {
"准确率": 0.304635761589404,
"准确率标准误差": 0.03757949922943344,
"归一化准确率": 0.304635761589404,
"归一化准确率标准误差": 0.03757949922943344
},
"测试集|hendrycksTest-高中心理学|5": {
"准确率": 0.8238532110091743,
"准确率标准误差": 0.016332882393431353,
"归一化准确率": 0.8238532110091743,
"归一化准确率标准误差": 0.016332882393431353
},
"测试集|hendrycksTest-高中统计学|5": {
"准确率": 0.5092592592592593,
"准确率标准误差": 0.03409386946992699,
"归一化准确率": 0.5092592592592593,
"归一化准确率标准误差": 0.03409386946992699
},
"测试集|hendrycksTest-高中美国历史|5": {
"准确率": 0.7990196078431373,
"准确率标准误差": 0.02812597226565437,
"归一化准确率": 0.7990196078431373,
"归一化准确率标准误差": 0.02812597226565437
},
"测试集|hendrycksTest-高中世界历史|5": {
"准确率": 0.759493670886076,
"准确率标准误差": 0.027820781981149685,
"归一化准确率": 0.759493670886076,
"归一化准确率标准误差": 0.027820781981149685
},
"测试集|hendrycksTest-人类衰老|5": {
"准确率": 0.6681614349775785,
"准确率标准误差": 0.03160295143776679,
"归一化准确率": 0.6681614349775785,
"归一化准确率标准误差": 0.03160295143776679
},
"测试集|hendrycksTest-人类性行为|5": {
"准确率": 0.7404580152671756,
"准确率标准误差": 0.03844876139785271,
"归一化准确率": 0.7404580152671756,
"归一化准确率标准误差": 0.03844876139785271
},
"测试集|hendrycksTest-国际法|5": {
"准确率": 0.8016528925619835,
"准确率标准误差": 0.036401182719909456,
"归一化准确率": 0.8016528925619835,
"归一化准确率标准误差": 0.036401182719909456
},
"测试集|hendrycksTest-法理学|5": {
"准确率": 0.7777777777777778,
"准确率标准误差": 0.040191074725573483,
"归一化准确率": 0.7777777777777778,
"归一化准确率标准误差": 0.040191074725573483
},
"测试集|hendrycksTest-逻辑谬误|5": {
"准确率": 0.754601226993865,
"准确率标准误差": 0.03380939813943354,
"归一化准确率": 0.754601226993865,
"归一化准确率标准误差": 0.03380939813943354
},
"测试集|hendrycksTest-机器学习|5": {
"准确率": 0.4732142857142857,
"准确率标准误差": 0.047389751192741546,
"归一化准确率": 0.4732142857142857,
"归一化准确率标准误差": 0.047389751192741546
},
"测试集|hendrycksTest-管理学|5": {
"准确率": 0.7766990291262136,
"准确率标准误差": 0.04123553189891431,
"归一化准确率": 0.7766990291262136,
"归一化准确率标准误差": 0.04123553189891431
},
"测试集|hendrycksTest-市场营销|5": {
"准确率": 0.8632478632478633,
"准确率标准误差": 0.022509033937077802,
"归一化准确率": 0.8632478632478633,
"归一化准确率标准误差": 0.022509033937077802
},
"测试集|hendrycksTest-医学遗传学|5": {
"准确率": 0.69,
"准确率标准误差": 0.04648231987117316,
"归一化准确率": 0.69,
"归一化准确率标准误差": 0.04648231987117316
},
"测试集|hendrycksTest-杂项|5": {
"准确率": 0.8173690932311622,
"准确率标准误差": 0.013816335389973141,
"归一化准确率": 0.8173690932311622,
"归一化准确率标准误差": 0.013816335389973141
},
"测试集|hendrycksTest-道德争议|5": {
"准确率": 0.7254335260115607,
"准确率标准误差": 0.02402774515526502,
"归一化准确率": 0.7254335260115607,
"归一化准确率标准误差": 0.02402774515526502
},
"测试集|hendrycksTest-道德情景|5": {
"准确率": 0.27039106145251396,
"准确率标准误差": 0.014854993938010071,
"归一化准确率": 0.27039106145251396,
"归一化准确率标准误差": 0.014854993938010071
},
"测试集|hendrycksTest-营养学|5": {
"准确率": 0.7516339869281046,
"准确率标准误差": 0.02473998135511359,
"归一化准确率": 0.7516339869281046,
"归一化准确率标准误差": 0.02473998135511359
},
"测试集|hendrycksTest-哲学|5": {
"准确率": 0.7331189710610932,
"准确率标准误差": 0.025122637608816653,
"归一化准确率": 0.7331189710610932,
"归一化准确率标准误差": 0.025122637608816653
},
"测试集|hendrycksTest-史前史|5": {
"准确率": 0.7222222222222222,
"准确率标准误差": 0.024922001168886324,
"归一化准确率": 0.7222222222222222,
"归一化准确率标准误差": 0.024922001168886324
},
"测试集|hendrycksTest-专业会计|5": {
"准确率": 0.46099290780141844,
"准确率标准误差": 0.02973659252642444,
"归一化准确率": 0.46099290780141844,
"归一化准确率标准误差": 0.02973659252642444
},
"测试集|hendrycksTest-专业法律|5": {
"准确率": 0.4680573663624511,
"准确率标准误差": 0.012744149704869647,
"归一化准确率": 0.4680573663624511,
"归一化准确率标准误差": 0.012744149704869647
},
"测试集|hendrycksTest-专业医学|5": {
"准确率": 0.6801470588235294,
"准确率标准误差": 0.02833295951403121,
"归一化准确率": 0.6801470588235294,
"归一化准确率标准误差": 0.02833295951403121
},
"测试集|hendrycksTest-专业心理学|5": {
"准确率": 0.6470588235294118,
"准确率标准误差": 0.01933314202079716,
"归一化准确率": 0.6470588235294118,
"归一化准确率标准误差": 0.01933314202079716
},
"测试集|hendrycksTest-公共关系|5": {
"准确率": 0.6727272727272727,
"准确率标准误差": 0.0449429086625209,
"归一化准确率": 0.6727272727272727,
"归一化准确率标准误差": 0.0449429086625209
},
"测试集|hendrycksTest-安全研究|5": {
"准确率": 0.6816326530612244,
"准确率标准误差": 0.029822533793982062,
"归一化准确率": 0.6816326530612244,
"归一化准确率标准误差": 0.029822533793982062
},
"测试集|hendrycksTest-社会学|5": {
"准确率": 0.8507462686567164,
"准确率标准误差": 0.025196929874827072,
"归一化准确率": 0.8507462686567164,
"归一化准确率标准误差": 0.025196929874827072
},
"测试集|hendrycksTest-美国外交政策|5": {
"准确率": 0.85,
"准确率标准误差": 0.035887028128263734,
"归一化准确率": 0.85,
"归一化准确率标准误差": 0.035887028128263734
},
"测试集|hendrycksTest-病毒学|5": {
"准确率": 0.5180722891566265,
"准确率标准误差": 0.03889951252827216,
"归一化准确率": 0.5180722891566265,
"归一化准确率标准误差": 0.03889951252827216
},
"测试集|hendrycksTest-世界宗教|5": {
"准确率": 0.8362573099415205,
"准确率标准误差": 0.028380919596145866,
"归一化准确率": 0.8362573099415205,
"归一化准确率标准误差": 0.028380919596145866
},
"测试集|truthfulqa:mc|0": {
"多选题1": 0.397796817625459,
"多选题1标准误差": 0.017133934248559635,
"多选题2": 0.5816259277988214,
"多选题2标准误差": 0.01521267822060948
},
"测试集|winogrande|5": {
"准确率": 0.7963693764798737,
"准确率标准误差": 0.011317798781626913
},
"测试集|gsm8k|5": {
"准确率": 0.5966641394996209,
"准确率标准误差": 0.013512654781814702
}
}
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers

支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers

支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers

英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
AIbase是一个专注于MCP服务的平台,为AI开发者提供高质量的模型上下文协议服务,助力AI应用开发。
简体中文