🚀 大语言模型修复说明

本项目针对大语言模型进行了一系列修复，解决了特定版本模型在使用过程中的一些问题，提升了模型的性能和兼容性。

📚 详细文档

修复内容

• 针对 3.1 RoPE 缩放因子进行修复（#8676）。
• 在 llama.cpp 中正确支持 Llama 3.1，采用 llama - bpe 作为分词器（#8650）。
• <|python_tag|> 可用于工具调用。

修复文件

以下文件已完成修复，其他文件正在替换中：

• Meta - Llama - 3.1 - 8B - Instruct.Q4_K_M.gguf
• Meta - Llama - 3.1 - 8B - Instruct.IQ4_XS.gguf

参考链接

• https://github.com/ggerganov/llama.cpp/issues/8650
• https://github.com/ggerganov/llama.cpp/pull/8676

📄 许可证

本项目采用其他许可证。