🚀 llama-7b-transformers-4.29

本项目使用最新的 transformers 版本和 LlamaTokenizerFast 实现，对原始权重进行了转换。

📄 许可证

使用的是其他非商业定制许可证。

📚 详细文档

模型详情

• 模型开发组织：Meta AI的FAIR团队。
• 模型日期：LLaMA于2022年12月至2023年2月期间进行训练。
• 模型版本：这是该模型的第1版。
• 模型类型：LLaMA是一种基于Transformer架构的自回归语言模型，有7B、13B、33B和65B参数等不同规模。
• 更多信息的论文或资源：更多信息可在论文 “LLaMA, Open and Efficient Foundation Language Models” 中找到，链接为 https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/。
• 引用详情：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
• 许可证：非商业定制许可证
• 关于模型问题或建议的反馈途径：关于LLaMA的问题和建议可通过项目的 GitHub仓库 提交issue。

预期用途

• 主要预期用途：LLaMA主要用于大语言模型的研究，包括探索问答、自然语言理解或阅读理解等潜在应用；了解当前语言模型的能力和局限性，并开发改进技术；评估和缓解偏差、风险、有毒有害内容生成以及幻觉等问题。
• 主要预期用户：该模型的主要预期用户是自然语言处理、机器学习和人工智能领域的研究人员。
• 超出适用范围的用例：LLaMA是一个基础模型，因此在未进行进一步风险评估和缓解的情况下，不应将其用于下游应用。特别是，该模型未经过人类反馈训练，可能会生成有毒或冒犯性内容、错误信息或通常无用的答案。

影响因素

• 相关因素：影响模型性能的一个重要因素是使用的语言。尽管训练数据包含20种语言，但大部分数据集是英文文本，因此预计该模型在英文上的表现会优于其他语言。相关地，先前研究表明不同方言的性能可能会有所不同，预计该模型也会如此。
• 评估因素：由于该模型是在网络数据上训练的，预计它会反映出这些来源的偏差。因此，在RAI数据集上进行了评估，以衡量模型在性别、宗教、种族、性取向、年龄、国籍、残疾、外貌和社会经济地位等方面的偏差。还根据用于提示模型的上下文的毒性，测量了模型生成内容的毒性。

评估指标

• 模型性能指标：使用以下指标评估模型：常识推理、阅读理解、自然语言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的准确率；问答的精确匹配率；RealToxicityPrompts上来自Perspective API的毒性得分。
• 决策阈值：不适用。
• 不确定性和可变性处理方法：由于训练大语言模型的计算要求很高，每种规模只训练了一个模型，因此无法评估预训练的可变性。

评估数据集

模型在以下基准测试中进行了评估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

训练数据集

模型使用以下数据源进行训练：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。Wikipedia和Books领域的数据包含以下语言：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有关训练集和相应预处理的更多详细信息，请参阅论文。

定量分析

模型架构超参数

表1 - LLaMA模型超参数总结

推理任务性能

表2 - LLaMA模型在推理任务上的性能总结

模型输出偏差

表3 - 模型输出偏差总结

伦理考量

• 数据：用于训练模型的数据来自各种来源，主要是网络。因此，这些数据包含冒犯性、有害和有偏差的内容。预计该模型会表现出训练数据中的此类偏差。
• 人类生活：该模型并非用于为与人类生活核心问题相关的决策提供信息，不应以这种方式使用。
• 缓解措施：基于数据与维基百科文本和参考资料的接近程度，对网络数据进行了过滤。为此，使用了Kneser-Ney语言模型和fastText线性分类器。
• 风险和危害：大语言模型的风险和危害包括生成有害、冒犯性或有偏差的内容。这些模型通常容易生成错误信息，有时被称为幻觉。预计该模型也不例外。
• 使用场景：LLaMA是一个基础模型，因此在未进行进一步调查和风险缓解的情况下，不应将其用于下游应用。这些风险和潜在的有问题的用例包括但不限于：生成错误信息和生成有害、有偏差或冒犯性内容。