🚀 VAGO solutions Llama-3.1-SauerkrautLM-70b-Instruct

*基于**频谱微调（Spectrum Fine-Tuning）*技术，高效微调大语言模型，充分挖掘其潜力。

我们很高兴推出 Llama-3.1-SauerkrautLM-70b-Instruct，这是强大的 meta-llama/Meta-Llama-3.1-70B-Instruct 的改良版本！

• 运用 频谱微调（Spectrum） 技术，针对德语 - 英语数据对模型的 15% 层 进行微调。
• 使用独特的德语 - 英语 Sauerkraut Mix v2 数据集，实现高效的跨语言迁移学习。
• 采用定制化、精准设计的微调方法，增强多语言处理能力。
• 通过跨语言知识迁移，在多种语言（包括阿拉伯语、意大利语、法语、西班牙语、荷兰语、葡萄牙语）中取得了更好的性能表现。

🚀 快速开始

模型列表

✨ 主要特性

• 多语言支持：支持德语、英语、阿拉伯语、意大利语、法语、西班牙语、荷兰语、葡萄牙语等多种语言。
• 高效微调：使用频谱微调技术，仅针对 15% 的模型层进行微调，大幅节省资源。
• 跨语言迁移学习：利用独特的 Sauerkraut Mix v2 数据集，实现高效的跨语言知识迁移。

📚 详细文档

模型详情

训练过程

本模型展示了使用频谱微调技术对大语言模型进行资源高效微调的潜力。以下是训练过程的简要介绍：

德语 - 英语数据微调

• 使用频谱微调技术，针对模型的 15% 层 进行微调。
• 引入独特的德语 - 英语 Sauerkraut Mix v2 数据集。
• 采用定制化、精准设计的微调方法。

使用 Sauerkraut Mix v2 进行跨语言迁移学习

• 以 Sauerkraut Mix v2 数据集为基础进行跨语言迁移。
• 该独特数据集主要聚焦于德语和英语，使模型能够将知识迁移到其他语言。
• 在无需大量每种语言训练数据的情况下，提升了模型在阿拉伯语、意大利语、法语、西班牙语、荷兰语和葡萄牙语中的能力。
• 证明了使用双语数据集进行多语言改进的有效性。

Sauerkraut Mix v2 数据集

• 专注于德语和英语的优质语言模型数据集。
• 精心挑选的高质量数据集组合。
• 使用专有、高精度生成技术创建的前沿合成数据集。
• 作为微调与跨语言迁移的核心资源。

训练目标与结果

本次训练的主要目标有两个：

1. 证明仅针对 15% 的层进行频谱微调，能够显著提升 700 亿参数模型的能力，同时仅使用传统微调方法所需资源的一小部分。
2. 展示使用 Sauerkraut Mix v2 数据集进行跨语言迁移学习的有效性，实现无需大量特定语言训练数据的多语言改进。

结果令人瞩目：

• 模型在多语言技能方面有了显著提升，在 MMLU 多语言基准测试中表现出色。

关键发现：

• 频谱微调可以在保留模型大部分先前习得知识的同时，有效增强其在多种语言中的能力。
• Sauerkraut Mix v2 数据集被证明是跨语言迁移的有效基础，能够从双语基础上实现多语言改进。
• 这种方法展示了一种资源高效的方法，无需为每种目标语言提供大量训练数据即可创建强大的多语言模型。

评估

AGIEVAL

GPT4ALL

TRUTHFULQA

BBH - HF

MMLU - 多语言

📄 许可证

本模型使用 llama3.1 许可证。

⚠️ 免责声明

尽管我们在数据清理方面已尽最大努力，但仍不能完全排除未审查内容的出现。我们无法保证模型始终表现恰当。如果您遇到任何问题或发现不适当的内容，请通过提供的联系方式告知我们。此外，这些模型的许可不构成法律建议，我们不对使用我们模型的第三方行为负责。

📞 联系我们

如果您对用于商业应用的定制大语言模型感兴趣，请通过我们的网站与我们联系。我们也非常感谢您的反馈和建议。

🤝 合作机会

我们热切寻求对我们的初创公司 VAGO solutions 的支持和投资，我们将持续推进强大语言模型的开发，以满足各种目的和需求。如果您对共同应对未来挑战感兴趣，欢迎通过 VAGO solutions 与我们联系。

🙏 致谢

非常感谢 meta-llama 为开源社区提供如此有价值的模型。