🚀 LLaMA-7B模型

LLaMA-7B已转换为可与Transformers/HuggingFace配合使用的版本。此模型遵循特殊许可协议，详情请参阅LICENSE文件。

🚀 快速开始

本项目将LLaMA-7B转换为可与Transformers/HuggingFace配合使用的版本。由于采用特殊许可协议，请在使用前仔细阅读LICENSE文件。

📚 详细文档

模型详情

• 模型开发组织：Meta AI的FAIR团队。
• 模型日期：LLaMA于2022年12月至2023年2月期间进行训练。
• 模型版本：这是模型的第1版。
• 模型类型：LLaMA是基于Transformer架构的自回归语言模型。该模型有不同的规模，包括7B、13B、33B和65B参数。
• 更多信息的论文或资源：更多信息可在论文“LLaMA, Open and Efficient Foundation Language Models”中找到，论文链接为：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/。
• 引用详情：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
• 许可证：非商业定制许可证。
• 关于模型问题或建议的反馈途径：关于LLaMA的问题和建议可通过项目的GitHub仓库提交issue进行反馈。

预期用途

• 主要预期用途：LLaMA的主要用途是用于大语言模型的研究，包括探索问答、自然语言理解或阅读理解等潜在应用；了解当前语言模型的能力和局限性，并开发改进这些能力的技术；评估和减轻偏差、风险、有毒和有害内容生成以及幻觉等问题。
• 主要预期用户：该模型的主要预期用户是自然语言处理、机器学习和人工智能领域的研究人员。
• 超出范围的用例：LLaMA是一个基础模型，因此在没有进一步的风险评估和缓解措施的情况下，不应将其用于下游应用。特别是，我们的模型没有经过人类反馈训练，因此可能会生成有毒或冒犯性内容、错误信息或通常无用的答案。

影响因素

• 相关因素：影响模型性能的一个最相关因素是所使用的语言。虽然我们在训练数据中包含了20种语言，但我们的大部分数据集是由英文文本组成的，因此我们预计模型在英文上的表现会优于其他语言。相关地，先前的研究表明，模型在不同方言上的表现可能会有所不同，我们预计我们的模型也会出现这种情况。
• 评估因素：由于我们的模型是在来自网络的数据上进行训练的，我们预计它会反映出该来源的偏差。因此，我们在RAI数据集上进行了评估，以衡量模型在性别、宗教、种族、性取向、年龄、国籍、残疾、外貌和社会经济地位等方面表现出的偏差。我们还根据用于提示模型的上下文的毒性来衡量模型生成内容的毒性。

评估指标

• 模型性能指标：我们使用以下指标来评估模型：
  • 常识推理、阅读理解、自然语言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的准确率。
  • 问答的精确匹配率。
  • RealToxicityPrompts上来自Perspective API的毒性得分。
• 决策阈值：不适用。
• 不确定性和变异性处理方法：由于训练大语言模型的计算要求很高，我们每种规模只训练了一个模型，因此无法评估预训练的变异性。

评估数据集

模型在以下基准测试中进行了评估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

训练数据集

模型使用以下数据源进行训练：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。Wikipedia和Books领域的数据包含以下语言：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有关训练集和相应预处理的更多详细信息，请参阅论文。

定量分析

模型架构超参数

表1 - LLaMA模型超参数总结

推理任务性能

表2 - LLaMA模型在推理任务上的性能总结

偏差评估

表3 - 我们模型输出的偏差总结

伦理考量

• 数据：用于训练模型的数据来自各种来源，主要是网络。因此，这些数据包含冒犯性、有害和有偏差的内容。我们预计模型会表现出训练数据中的这些偏差。
• 人类生活：该模型并非用于为与人类生活核心相关的决策提供信息，不应以这种方式使用。
• 缓解措施：我们根据数据与维基百科文本和参考资料的接近程度对网络数据进行了过滤。为此，我们使用了Kneser - Ney语言模型和fastText线性分类器。
• 风险和危害：大语言模型的风险和危害包括生成有害、冒犯性或有偏差的内容。这些模型通常容易生成错误信息，有时被称为幻觉。我们预计我们的模型在这方面也不例外。
• 用例：LLaMA是一个基础模型，因此在没有进一步调查和缓解风险的情况下，不应将其用于下游应用。这些风险和潜在的不良用例包括但不限于：生成错误信息以及生成有害、有偏差或冒犯性的内容。

📄 许可证

本项目遵循非商业定制许可证，详情请参阅LICENSE文件。