license: llama2

Xwin-LM：强大、稳定且可复现的大语言模型对齐技术

用Xwin-LM提升你的大语言模型对齐能力！

Xwin-LM致力于研发并开源大语言模型的对齐技术，包括监督微调（SFT）、奖励模型（RM）、拒绝采样、基于人类反馈的强化学习（RLHF）等。我们的首个基于Llama2基础模型的版本在AlpacaEval榜单荣登榜首，并成为首个在该基准测试中超越GPT-4的模型。本项目将持续更新。

最新动态

• 💥 [2023年9月] 发布Xwin-LM-70B-V0.1，在AlpacaEval基准测试中以95.57%的胜率超越Davinci-003，位列榜首，成为AlpacaEval上首个超越GPT-4的模型（对GPT-4胜率达60.61）。
• 🔍 [2023年9月] RLHF技术是Xwin-LM-V0.1版本卓越性能的关键！
• 💥 [2023年9月] 发布Xwin-LM-13B-V0.1，以91.76%胜率位列所有13B模型中的第一。
• 💥 [2023年9月] 发布Xwin-LM-7B-V0.1，以87.82%胜率位列所有7B模型中的第一。

模型卡片

基准测试

Xwin-LM在AlpacaEval的表现

下表展示了Xwin-LM在805道题目中与Text-Davinci-003的对战胜率。为全面评估，我们首次同时公布与ChatGPT和GPT-4的对战结果。Xwin-LM模型家族在所有指标上都创下了新纪录。值得注意的是，Xwin-LM-70B-V0.1首次超越GPT-4，对Text-Davinci-003胜率达95.57%，对GPT-4胜率达60.61%。

AlpacaEval案例研究

Xwin-LM在NLP基础任务的表现

下表展示了Xwin-LM在Open LLM Leaderboard中与其他模型的对比结果。

推理指南

对话模板

使用模型推理时请严格遵循以下对话模板。本模型采用Vicuna的提示格式，支持多轮对话。

用户与AI助手的对话。助手提供专业、详尽且礼貌的回答。USER: 你好！ ASSISTANT: 你好。</s>USER: 你是谁？ ASSISTANT: 我是Xwin-LM。</s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "用户与AI助手的对话。助手提供专业、详尽且礼貌的回答。"
            "USER: 你好，能帮忙吗？"
            "ASSISTANT:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# 当然可以！请描述您的问题或需求，我将尽力提供帮助。

vllm示例

由于Xwin-LM基于Llama2架构，支持使用vllm进行快速推理。安装指南请参考vllm官方文档。

from vllm import LLM, SamplingParams
(
    prompt := "用户与AI助手的对话。助手提供专业、详尽且礼貌的回答。"
            "USER: 你好，能帮忙吗？"
            "ASSISTANT:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    generated_text = output.outputs[0].text
    print(generated_text)

未来计划

• [ ] 开源训练代码
• [ ] 发布数学、推理等增强能力

引用

如果使用本项目的代码或数据，请引用我们的工作：

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {pre-release},
  year = {2023},
  month = {9},
}

致谢

感谢Llama 2、FastChat、AlpacaFarm和vllm等开源项目。