许可证: apache-2.0 语言:

• 中文
• 英文

Chinese-LLaMA-2-7B-16K

这是完整的Chinese-LLaMA-2-7B-16K模型（上下文长度16K），可直接加载用于推理和全参数训练。

相关模型👇

• 长上下文基础模型（16K）
  • Chinese-LLaMA-2-7B-16K（完整模型）
  • Chinese-LLaMA-2-LoRA-7B-16K（LoRA模型）
  • Chinese-LLaMA-2-13B-16K（完整模型）
  • Chinese-LLaMA-2-LoRA-13B-16K（LoRA模型）
• 长上下文指令/对话模型
  • Chinese-Alpaca-2-7B-16K（完整模型）
  • Chinese-Alpaca-2-LoRA-7B-16K（LoRA模型）
  • Chinese-Alpaca-2-13B-16K（完整模型）
  • Chinese-Alpaca-2-LoRA-13B-16K（LoRA模型）
• 基础模型
  • Chinese-LLaMA-2-7B（完整模型）
  • Chinese-LLaMA-2-LoRA-7B（LoRA模型）
  • Chinese-LLaMA-2-13B（完整模型）
  • Chinese-LLaMA-2-LoRA-13B（LoRA模型）
• 指令/对话模型
  • Chinese-Alpaca-2-7B（完整模型）
  • Chinese-Alpaca-2-LoRA-7B（LoRA模型）
  • Chinese-Alpaca-2-13B（完整模型）
  • Chinese-Alpaca-2-LoRA-13B（LoRA模型）

Chinese-LLaMA-Alpaca-2 说明

本项目基于Meta发布的Llama-2，是中文LLaMA & Alpaca大模型的第二代项目。我们开源了中文LLaMA-2（基础模型）和Alpaca-2（指令模型）。这些模型在原有Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义理解能力，相比一代模型有了显著性能提升。相关模型支持4K上下文，通过NTK方法可扩展至18K+。

本项目主要内容包括：

• 🚀 全新扩展的中文词表，开源中文LLaMA-2和Alpaca-2大模型
• 🚀 开源了预训练和指令微调（SFT）脚本，支持用户在自己的数据上进一步调优
• 🚀 快速在个人电脑的CPU/GPU上部署和体验量化版大模型
• 🚀 支持LLaMA生态系统的多种工具，如🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLM等

详情请参考https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/。