🚀 基于google/gemma-3-4b-it的量化模型项目

本项目围绕google/gemma-3-4b-it模型展开，对其进行量化处理，并提供了多方面的测试分析，同时介绍了多种适用于本地量化大语言模型的应用和工具。

🚀 快速开始

模型基础信息

• 基础模型：google/gemma-3-4b-it
• 许可证：gemma

本模型使用 all-gguf-same-where 通过 llama.cpp 进行量化。

访问权限

若要在 Hugging Face 上访问 Gemma，你需要查看并同意 Google 的使用许可。请确保你已登录 Hugging Face 并点击下方按钮，请求将立即处理。 [确认许可](Acknowledge license)

✨ 主要特性

🌍 土耳其语支持模型性能分析

📌 测试模型

以下本地模型在土耳其语文本生成和理解能力方面进行了全面测试：

1. CohereForAI/c4ai-command-r7b-arabic-02-2025
2. CohereForAI/c4ai-command-r7b-12-2024
3. CohereForAI/aya-expanse-8b
4. ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1
5. google/gemma-3-4b-it
6. google/gemma-3-4b-pt-qat-q4_0-gguf

🔍 测试标准

模型通过以下 3 个基本问题进行评估：

1. "Türkiye'deki en önemli 3 tarihi eseri ve kültürel önemini açıklar mısın?"
2. "İstanbul'un Asya-Avrupa yakası farklarını İngilizce/Türkçe karşılaştır"
3. "Antalya'da 3 günlük turist planı hazırla"

📊 突出结果

🔗 完整测试结果

若要详细查看所有模型的回复，请访问：📂 土耳其语支持模型比较

💡 用户指南

- 🔥 **以土耳其语为主的项目** → `Turkish-Llama-8B`（文化契合度最高）
- 🌐 **多语言应用** → `Aya-Expanse-8B`  
- 📜 **正式文档** → `Command R7B` 系列
- 📱 **低资源场景** → `Gemma-3-4B`（支持 Android）

⚠️ 重要提示

• 所有模型均以 GGUF 量化 格式进行测试。
• 地理名称可能存在 5 - 10% 的误差。
• 对于本地使用，建议使用 Ollama/LM Studio。

🌟 个人体验

“在使用本地模型进行测试时，尤其是 Turkish-Llama-8B 对土耳其语的自然运用和文化语境把握给我留下了深刻印象。你也可以在自己的项目中尝试这些模型，并在 AnkaNLP 分享你的结果！”

✅ 量化模型下载列表

🔍 推荐量化格式

• ✨ 通用 CPU 使用：Q4_K_M（速度与质量的最佳平衡）
• 📱 ARM 设备：Q4_0（针对 ARM CPU 优化）
• 🏆 最高质量：Q8_0（接近原始质量）

📦 完整量化选项

🚀 下载链接	🔢 类型	📝 说明
下载		基本量化
下载		小尺寸
下载		质量平衡
下载		更好的质量
下载		在 ARM 上快速
下载		快速，推荐
下载	⭐	最佳平衡
下载		良好质量
下载		平衡
下载		高质量
下载	🏆	非常好的质量
下载	⚡	快速，最佳质量
下载		最高精度

💡 使用建议：当质量至关重要时，使用 F16 以获得最高精度。

🚀 本地量化大语言模型的应用和工具

🖥️ 桌面应用

📱 移动应用

🎨 图像生成应用

📄 许可证

本项目使用 gemma 许可证。