Xwin LM 7B V0.2
Xwin-LM是基于Llama2开发的大语言模型,专注于对齐技术研究,在AlpacaEval基准测试中表现优异。
下载量 4,345
发布时间 : 10/13/2023
模型简介
Xwin-LM致力于研发并开源大语言模型的对齐技术,包括监督微调、奖励模型、拒绝采样和基于人类反馈的强化学习等。
模型特点
强大的对齐技术
采用监督微调、奖励模型和强化学习等多种对齐技术优化模型表现
卓越的基准测试表现
在AlpacaEval基准测试中超越GPT-4,成为7B模型中的第一名
多轮对话支持
采用Vicuna提示格式,支持流畅的多轮对话交互
模型能力
文本生成
多轮对话
问答系统
指令跟随
使用案例
对话系统
智能助手
构建能够理解复杂指令并提供详细回答的AI助手
在AlpacaEval测试中达到87.35%胜率
教育应用
语言学习
帮助用户学习外语词汇和表达
能准确提供多语言翻译和用法解释
🚀 Xwin-LM:强大、稳定且可复现的大语言模型对齐方案
Xwin-LM致力于开发并开源大语言模型的对齐技术,涵盖监督微调(SFT)、奖励模型(RM)、拒绝采样、基于人类反馈的强化学习(RLHF)等。我们基于Llama2基础模型的首个版本,在AlpacaEval上排名第一。值得一提的是,这是首个在该基准测试中超越GPT - 4的模型。本项目将持续更新。
🚀 快速开始
Xwin-LM旨在助力你的大语言模型对齐工作!它提供了一系列先进的对齐技术,让你的模型在性能上更上一层楼。你可以通过以下链接访问项目:
✨ 主要特性
- 先进的对齐技术:涵盖SFT、RM、拒绝采样、RLHF等多种对齐技术。
- 卓越的性能表现:在AlpacaEval基准测试中排名领先,超越GPT - 4。
- 持续更新:项目会不断迭代,添加更多功能和优化。
📚 详细文档
新闻动态
- 💥 [2023年10月12日] Xwin-LM-7B-V0.2 和 Xwin-LM-13B-V0.2 发布,比较数据和RL训练(如PPO)得到改进。它们与GPT - 4的胜率显著提高,分别达到59.83%(7B模型)和70.36%(13B模型)。70B模型即将发布。
- 💥 [2023年9月] 我们发布了 Xwin-LM-70B-V0.1,在AlpacaEval基准测试中对Davinci - 003的胜率达到95.57%,在AlpacaEval上排名第一。这是首个在AlpacaEval上超越GPT - 4的模型。其与GPT - 4的胜率为60.61。
- 🔍 [2023年9月] RLHF在Xwin-LM-V0.1版本的出色表现中起到了关键作用!
- 💥 [2023年9月] 我们发布了 Xwin-LM-13B-V0.1,在AlpacaEval上的胜率达到91.76%,在所有13B模型中排名第一。
- 💥 [2023年9月] 我们发布了 Xwin-LM-7B-V0.1,在AlpacaEval上的胜率达到87.82%,在所有7B模型中排名第一。
模型卡片
模型 | 检查点 | 报告 | 许可证 |
---|---|---|---|
Xwin-LM-7B-V0.2 | 🤗 HF链接 | 📃即将推出(敬请期待) | Llama 2许可证 |
Xwin-LM-13B-V0.2 | 🤗 HF链接 | Llama 2许可证 | |
Xwin-LM-7B-V0.1 | 🤗 HF链接 | Llama 2许可证 | |
Xwin-LM-13B-V0.1 | 🤗 HF链接 | Llama 2许可证 | |
Xwin-LM-70B-V0.1 | 🤗 HF链接 | Llama 2许可证 |
基准测试
Xwin-LM在AlpacaEval上的性能
下表展示了Xwin-LM在AlpacaEval上的性能,该测试评估了其在805个问题上相对于Text - Davinci - 003的胜率。为了提供全面的评估,我们首次展示了其相对于ChatGPT和GPT - 4的胜率。我们的Xwin-LM模型家族在所有指标上都树立了新的标杆。值得注意的是,Xwin-LM-70B-V0.1首次超越了GPT - 4,对Text - Davinci - 003的胜率达到95.57%,对GPT - 4的胜率达到60.61%。
模型 | AlpacaEval(胜率 %) | AlpacaEval(胜率 %) | AlpacaEval(胜率 %) |
---|---|---|---|
对比Text - Davinci - 003 | 对比ChatGPT | 对比GPT4 | |
Xwin-LM-70B-V0.1 | 95.57 | 87.50 | 60.61 |
GPT - 4 | 95.28 | 84.66 | 50.00 |
Xwin-LM-13B-V0.2 | 93.22 | 87.14 | 70.36 |
WizardLM - 70B - V1.0 | 92.91 | 80.19 | 46.70 |
Llama - 2 - 70B - Chat | 92.66 | 81.97 | 51.19 |
Xwin-LM-13B-V0.1 | 91.76 | 81.79 | 55.30 |
ChatGPT | 89.37 | 50.00 | 16.60 |
Xwin-LM-7B-V0.2 | 89.31 | 79.60 | 59.83 |
WizardLM - 13B - V1.2 | 89.17 | 75.75 | 41.91 |
Xwin-LM-7B-V0.1 | 87.35 | 76.40 | 47.57 |
Llama - 2 - 13B - Chat | 81.09 | 64.22 | 30.92 |
AlpacaEval案例研究
提示 | GPT4响应 | Xwin-LM响应 |
---|---|---|
我把一个盘子放在苹果上面,然后把盘子从厨房移到餐厅。苹果现在在哪里 | 苹果现在在餐厅,因为你把盘子从厨房移到餐厅时,苹果在盘子下面。 | 苹果仍然在厨房,因为你只移动了盘子。苹果在盘子下面,所以如果你想把苹果带到餐厅,你应该直接移动苹果或者把苹果放在盘子上,然后把盘子移到餐厅。 |
回答以下问题。 “晚上好”用法语怎么说。 |
在法语中,“晚上好”说作“bonsoir”。 | 在法语中,“晚上好”翻译为“bonsoir”。这个问候语用于晚上和夜间,通常在下午6点之后。它是“bon”(意为“好”)和“soir”(意为“晚上”)的组合。发音为“bone - swahr”。 |
Xwin-LM在NLP基础任务上的性能
下表比较了Xwin-LM与其他大语言模型在Open LLM Leaderboard的NLP基础任务上的表现。
模型 | MMLU 5 - shot | ARC 25 - shot | TruthfulQA 0 - shot | HellaSwag 10 - shot | 平均 |
---|---|---|---|---|---|
Text - davinci - 003 | 56.9 | 85.2 | 59.3 | 82.2 | 70.9 |
Vicuna - 13b 1.1 | 51.3 | 53.0 | 51.8 | 80.1 | 59.1 |
Guanaco 30B | 57.6 | 63.7 | 50.7 | 85.1 | 64.3 |
WizardLM - 7B 1.0 | 42.7 | 51.6 | 44.7 | 77.7 | 54.2 |
WizardLM - 13B 1.0 | 52.3 | 57.2 | 50.5 | 81.0 | 60.2 |
WizardLM - 30B 1.0 | 58.8 | 62.5 | 52.4 | 83.3 | 64.2 |
Llama - 2 - 7B - Chat | 48.3 | 52.9 | 45.6 | 78.6 | 56.4 |
Llama - 2 - 13B - Chat | 54.6 | 59.0 | 44.1 | 81.9 | 59.9 |
Llama - 2 - 70B - Chat | 63.9 | 64.6 | 52.8 | 85.9 | 66.8 |
Xwin-LM-7B-V0.1 | 49.7 | 56.2 | 48.1 | 79.5 | 58.4 |
Xwin-LM-13B-V0.1 | 56.6 | 62.4 | 45.5 | 83.0 | 61.9 |
Xwin-LM-70B-V0.1 | 69.6 | 70.5 | 60.1 | 87.1 | 71.8 |
Xwin-LM-7B-V0.2 | 50.0 | 56.4 | 49.5 | 78.9 | 58.7 |
Xwin-LM-13B-V0.2 | 56.6 | 61.5 | 43.8 | 82.9 | 61.2 |
推理
对话模板
为了获得理想的结果,请在使用我们的模型进行推理时严格遵循对话模板。我们的模型采用了Vicuna建立的提示格式,并支持多轮对话。
一个好奇的用户与人工智能助手之间的对话。助手会为用户的问题提供有帮助、详细且礼貌的答案。用户:你好!助手:你好。</s>用户:你是谁?助手:我是Xwin-LM。</s>......
HuggingFace示例
from transformers import AutoTokenizer, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
prompt := "一个好奇的用户与人工智能助手之间的对话。 "
"助手会为用户的问题提供有帮助、详细且礼貌的答案。 "
"用户:你好,你能帮我吗? "
"助手:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output)
# 当然!我在这里提供帮助。请随时提出你的问题或描述你遇到的问题,我会尽力协助你。
vLLM示例
由于Xwin-LM基于Llama2,它也支持使用vLLM进行快速推理。请参考vLLM获取详细的安装说明。
from vllm import LLM, SamplingParams
(
prompt := "一个好奇的用户与人工智能助手之间的对话。 "
"助手会为用户的问题提供有帮助、详细且礼貌的答案。 "
"用户:你好,你能帮我吗? "
"助手:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(generated_text)
待办事项
- [ ] 发布源代码
- [ ] 发布更多功能,如数学、推理等。
引用
如果您使用了本仓库中的数据或代码,请考虑引用我们的工作。
@software{xwin-lm,
title = {Xwin-LM},
author = {Xwin-LM Team},
url = {https://github.com/Xwin-LM/Xwin-LM},
version = {pre-release},
year = {2023},
month = {9},
}
致谢
感谢 Llama 2、FastChat、AlpacaFarm 和 vLLM。
📄 许可证
本项目采用 Llama 2许可证。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98
智启未来,您的人工智能解决方案智库
简体中文