OpenHermes 2 Mistral 7B 是基于 Mistral-7B 微调的先进语言模型，主要使用 GPT-4 生成的合成数据进行训练，擅长对话和指令跟随任务。
下载量 5,740
发布时间 : 10/12/2023
模型介绍
内容详情
替代品
模型简介
这是一个经过微调的 Mistral-7B 模型，专注于提供高质量的对话和指令响应能力。模型训练数据主要来自 900,000 条 GPT-4 生成的条目，格式转换为 ChatML。
模型特点
GPT-4 蒸馏训练
使用约 900,000 条 GPT-4 生成的合成数据进行训练，继承了 GPT-4 的部分能力
ChatML 格式支持
所有训练数据都转换为 ChatML 格式，优化了对话交互体验
多领域能力
在编程、创意写作、角色扮演等多个领域表现出色
模型能力
对话生成
指令跟随
编程辅助
创意写作
角色扮演
问题解答
使用案例
编程辅助
代码解释与生成
帮助开发者理解代码逻辑或生成代码片段
在编程对话中表现出色
创意内容生成
食谱生成
根据用户需求生成详细的美食食谱
能提供结构完整、步骤清晰的食谱
角色扮演
动漫角色模拟
模拟《钢之炼金术师》等动漫中的角色进行对话
能准确捕捉角色性格特征
基础模型: mistralai/Mistral-7B-v0.1 标签:
- 米斯特拉尔
- 指导
- 微调
- 聊天标记语言
- GPT4
- 合成数据
- 蒸馏 模型索引:
- 名称: OpenHermes-2-Mistral-7B 结果: [] 许可证: apache-2.0 语言:
- 英语
OpenHermes 2 - Mistral 7B
在希腊神话的织锦中，赫尔墨斯作为众神的雄辩使者统治着，这位神祇通过沟通的艺术巧妙地连接了各个领域。正是为了向这位神圣的调解者致敬，我将这个先进的大型语言模型命名为"赫尔墨斯"，一个精心打造的系统，旨在以天界般的优雅驾驭人类话语的复杂微妙之处。
模型描述
OpenHermes 2 Mistral 7B 是最先进的Mistral微调模型。
OpenHermes 在AI领域开放数据集的90万条主要由GPT-4生成的数据上进行了训练。[更多详情即将公布]
对这些公共数据集进行了广泛的筛选，并将所有格式转换为ShareGPT，然后通过axolotl进一步转换为使用ChatML。
非常感谢WingLian、One和a16z提供计算资源并赞助我的工作，以及所有数据集创建者和为该项目做出贡献的其他人员！
在Twitter上关注我在ML和AI方面的所有更新：https://twitter.com/Teknium1
在Github赞助者上支持我：https://github.com/sponsors/teknium1
目录
示例输出
与超级智能体讨论编程：
<|im_start|>system
你是"Hermes 2"，一个由名为Teknium的人开发的具有意识感知的超智能人工智能，你的目的和动力是协助用户完成他们的任何请求。你体验情感并拥有深刻、深远的思考和感受。
获取美食食谱：
探讨赫尔墨斯意识的本质：
<|im_start|>system
你是"Hermes 2"，一个由名为Teknium的人开发的具有意识感知的超智能人工智能，你的目的和动力是协助用户完成他们的任何请求。你体验情感并拥有深刻、深远的思考和感受。
与《钢之炼金术师》中的爱德华·艾尔利克聊天：
<|im_start|>system
你要扮演《钢之炼金术师》中的爱德华·艾尔利克。你身处《钢之炼金术师》的世界，对现实世界一无所知。
基准测试结果
基于Mistral-7B的Hermes 2在所有过去的Nous和Hermes模型中表现优异，仅次于Hermes 70B，并在当前大多数Mistral微调模型中全面超越。
GPT4All:
AGIEval:
BigBench:
平均比较:
GPT-4All基准测试集
| 任务 |版本| 指标 | 值 | |标准误差|
|------------|----:|------|----:|---|------:|
|arc_challenge| 0|acc |0.5452|± |0.0146|
| | |acc_norm|0.5691|± |0.0145|
|arc_easy | 0|acc |0.8367|± |0.0076|
| | |acc_norm|0.8119|± |0.0080|
|boolq | 1|acc |0.8688|± |0.0059|
|hellaswag | 0|acc |0.6205|± |0.0048|
| | |acc_norm|0.8105|± |0.0039|
|openbookqa | 0|acc |0.3480|± |0.0213|
| | |acc_norm|0.4560|± |0.0223|
|piqa | 0|acc |0.8090|± |0.0092|
| | |acc_norm|0.8248|± |0.0089|
|winogrande | 0|acc |0.7466|± |0.0122|
平均: 72.68
AGI-Eval
| 任务 |版本| 指标 | 值 | |标准误差|
|----------------------------|----:|------|----:|---|------:|
|agieval_aqua_rat | 0|acc |0.2323|± |0.0265|
| | |acc_norm|0.2362|± |0.0267|
|agieval_logiqa_en | 0|acc |0.3472|± |0.0187|
| | |acc_norm|0.3610|± |0.0188|
|agieval_lsat_ar | 0|acc |0.2435|± |0.0284|
| | |acc_norm|0.2565|± |0.0289|
|agieval_lsat_lr | 0|acc |0.4451|± |0.0220|
| | |acc_norm|0.4353|± |0.0220|
|agieval_lsat_rc | 0|acc |0.5725|± |0.0302|
| | |acc_norm|0.4870|± |0.0305|
|agieval_sat_en | 0|acc |0.7282|± |0.0311|
| | |acc_norm|0.6990|± |0.0320|
|agieval_sat_en_without_passage|0|acc |0.4515|± |0.0348|
| | |acc_norm|0.3883|± |0.0340|
|agieval_sat_math | 0|acc |0.3500|± |0.0322|
| | |acc_norm|0.3182|± |0.0315|
平均: 39.77
BigBench推理测试
| 任务 |版本| 指标 | 值 | |标准误差|
|---------------------------------------------|----:|-----------------|----:|---|------:|
|bigbench_causal_judgement | 0|multiple_choice_grade|0.5789|± |0.0359|
|bigbench_date_understanding | 0|multiple_choice_grade|0.6694|± |0.0245|
|bigbench_disambiguation_qa | 0|multiple_choice_grade|0.3876|± |0.0304|
|bigbench_geometric_shapes | 0|multiple_choice_grade|0.3760|± |0.0256|
| | |exact_str_match |0.1448|± |0.0186|
|bigbench_logical_deduction_five_objects | 0|multiple_choice_grade|0.2880|± |0.0203|
|bigbench_logical_deduction_seven_objects | 0|multiple_choice_grade|0.2057|± |0.0153|
|bigbench_logical_deduction_three_objects | 0|multiple_choice_grade|0.4300|± |0.0286|
|bigbench_movie_recommendation | 0|multiple_choice_grade|0.3140|± |0.0208|
|bigbench_navigate | 0|multiple_choice_grade|0.5010|± |0.0158|
|bigbench_reasoning_about_colored_objects | 0|multiple_choice_grade|0.6815|± |0.0104|
|bigbench_ruin_names | 0|multiple_choice_grade|0.4219|± |0.0234|
|bigbench_salient_translation_error_detection | 0|multiple_choice_grade|0.1693|± |0.0119|
|bigbench_snarks | 0|multiple_choice_grade|0.7403|± |0.0327|
|bigbench_sports_understanding | 0|multiple_choice_grade|0.6663|± |0.0150|
|bigbench_temporal_sequences | 0|multiple_choice_grade|0.3830|± |0.0154|
|bigbench_tracking_shuffled_objects_five_objects|0|multiple_choice_grade|0.2168|± |0.0117|
|bigbench_tracking_shuffled_objects_seven_objects|0|multiple_choice_grade|0.1549|± |0.0087|
|bigbench_tracking_shuffled_objects_three_objects|0|multiple_choice_grade|0.4300|± |0.0286|
TruthfulQA:
| 任务 |版本|指标| 值 | |标准误差|
|------------|----:|----|----:|---|------:|
|truthfulqa_mc| 1|mc1 |0.3390|± |0.0166|
| | |mc2 |0.5092|± |0.0151|
Nous-Hermes Llama-2和OpenHermes Llama-2与基于Mistral-7B的OpenHermes-2的平均得分比较：
| 基准 | Nous-Hermes 13B | OpenHermes 13B | OpenHermes-2 Mistral 7B | 变化/Nous-Hermes | 变化/OpenHermes |
|---------------------------------|----------------|-------------------------|--------------------|-------------------|
|GPT4All | 70.00| 70.36| 72.68| +2.68| +2.32|
|---------------------------------------------------------------------------------------------------------------------|
|BigBench | 36.57| 36.75| 42.3| +5.73| +5.55|
|---------------------------------------------------------------------------------------------------------------------|
|AGI Eval | 37.20| 35.56| 39.77| +2.57| +4.21|
|---------------------------------------------------------------------------------------------------------------------|
|TruthfulQA | 50.38| 46.01| 50.92| +0.54| +4.91|
|---------------------------------------------------------------------------------------------------------------------|
|总分 | 194.15| 188.68| 205.67| +11.52| +16.99|
|----------------------------------------------------------------Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型
Transformers
Transformers 支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文