license: llama2

Xwin-LM：强大、稳定且可复现的大语言模型对齐技术

用Xwin-LM提升您的大语言模型对齐能力！

Xwin-LM致力于研发并开源大语言模型的对齐技术，包括监督微调（SFT）、奖励模型（RM）、拒绝采样、基于人类反馈的强化学习（RLHF）等。基于Llama2基础模型的首个版本在AlpacaEval榜单荣登榜首，成为该基准测试中首个超越GPT-4的模型。项目将持续更新。

最新动态

• 💥 [2023年10月12日] 发布Xwin-LM-7B-V0.2与Xwin-LM-13B-V0.2，通过优化对比数据和强化学习训练（PPO），其相对GPT-4的胜率显著提升至59.83%（7B模型）和70.36%（13B模型）。70B版本即将发布。
• 💥 [2023年9月] 发布Xwin-LM-70B-V0.1，在AlpacaEval基准测试中以95.57%胜率超越Davinci-003，成为榜单第一名，也是首个超越GPT-4的模型（相对GPT-4胜率60.61%）。
• 🔍 [2023年9月] RLHF技术是Xwin-LM-V0.1版本卓越性能的关键！
• 💥 [2023年9月] 发布Xwin-LM-13B-V0.1，以91.76%胜率成为13B模型中的冠军。
• 💥 [2023年9月] 发布Xwin-LM-7B-V0.1，以87.82%胜率登顶7B模型榜首。

模型卡片

基准测试

AlpacaEval表现

下表展示了Xwin-LM在805道题目上对比Text-Davinci-003的胜率，并首次提供了对比ChatGPT和GPT-4的完整评估数据。Xwin-LM模型家族在所有指标上均刷新了最优记录，其中Xwin-LM-70B-V0.1以95.57%胜率超越Text-Davinci-003，并以60.61%胜率首次超越GPT-4。

AlpacaEval案例分析

Open LLM Leaderboard表现

下表对比了Xwin-LM与其他模型在自然语言处理基础任务上的表现：

推理指南

对话模板

请严格遵循以下多轮对话模板以获得最佳效果（基于Vicuna格式）：

用户与AI助手的对话。助手提供专业、详尽且礼貌的回答。USER: 你好！ ASSISTANT: 您好。</s>USER: 你是谁？ ASSISTANT: 我是Xwin-LM。</s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
prompt = "用户与AI助手的对话...USER: 你好，能帮忙吗？ ASSISTANT:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
# 当然！请描述您的问题，我将尽力协助。

vLLM加速推理

Xwin-LM支持使用vLLM进行高效推理：

from vllm import LLM, SamplingParams
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt], SamplingParams(temperature=0.7, max_tokens=4096))

未来计划

• [ ] 开源训练代码
• [ ] 增强数学、推理等能力

引用

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  year = {2023},
}

致谢

感谢Llama 2、FastChat、AlpacaFarm和vLLM等开源项目。