license: llama2

Xwin-LM：强大、稳定且可复现的大语言模型对齐技术

用Xwin-LM提升你的大语言模型对齐能力！

Xwin-LM致力于研发并开源大语言模型的对齐技术，包括监督微调（SFT）、奖励模型（RM）、拒绝采样、人类反馈强化学习（RLHF）等。我们的首个基于Llama2基础模型的版本在AlpacaEval排行榜上位列第一，更是首个在该基准测试中超越GPT-4的模型。项目将持续更新。

最新动态

• 💥 [2023年9月] 我们发布了Xwin-LM-70B-V0.1，在AlpacaEval基准测试中以95.57%的胜率击败Davinci-003，荣登榜首，成为AlpacaEval上首个超越GPT-4的模型。其对GPT-4的胜率为60.61。
• 🔍 [2023年9月] RLHF在Xwin-LM-V0.1版本的强劲表现中起到了关键作用！
• 💥 [2023年9月] 我们发布了Xwin-LM-13B-V0.1，在AlpacaEval上取得了91.76%的胜率，成为所有13B模型中的第一名。
• 💥 [2023年9月] 我们发布了Xwin-LM-7B-V0.1，在AlpacaEval上取得了87.82%的胜率，成为所有7B模型中的第一名。

模型卡片

基准测试

Xwin-LM在AlpacaEval上的表现。

下表展示了Xwin-LM在AlpacaEval上的表现，评估其在805个问题上对Text-Davinci-003的胜率。为了全面评估，我们首次提供了对ChatGPT和GPT-4的胜率。我们的Xwin-LM模型家族在所有指标上都建立了新的最先进性能。值得注意的是，Xwin-LM-70B-V0.1首次超越了GPT-4，对Text-Davinci-003的胜率达到95.57%，对GPT-4的胜率达到60.61%。

AlpacaEval案例研究

Xwin-LM在NLP基础任务上的表现。

下表比较了Xwin-LM与其他大语言模型在Open LLM Leaderboard中NLP基础任务上的表现。

推理

对话模板

为了获得理想的结果，在使用我们的模型进行推理时，请严格遵循对话模板。我们的模型采用了Vicuna建立的提示格式，并支持多轮对话。

一位好奇的用户和一位人工智能助手之间的对话。助手对用户的问题提供有用、详细且礼貌的回答。用户：你好！助手：你好。</s>用户：你是谁？助手：我是Xwin-LM。</s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "一位好奇的用户和一位人工智能助手之间的对话。"
            "助手对用户的问题提供有用、详细且礼貌的回答。"
            "用户：你好，你能帮我吗？"
            "助手："
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# 当然！我在这里帮助你。请随时提出你的问题或描述你遇到的问题，我会尽力协助你。

vllm示例

由于Xwin-LM基于Llama2，它也支持使用vllm进行快速推理。请参考vllm获取详细的安装说明。

from vllm import LLM, SamplingParams
(
    prompt := "一位好奇的用户和一位人工智能助手之间的对话。"
            "助手对用户的问题提供有用、详细且礼貌的回答。"
            "用户：你好，你能帮我吗？"
            "助手："
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

待办事项

• [ ] 发布源代码
• [ ] 发布更多能力，如数学、推理等。

引用

如果你使用了本仓库的数据或代码，请考虑引用我们的工作。

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {pre-release},
  year = {2023},
  month = {9},
}

致谢

感谢Llama 2、FastChat、AlpacaFarm和vllm。