base_model: LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct
language:

• en
• ko
  library_name: transformers
  license: other
  license_name: exaone
  license_link: LICENSE
  pipeline_tag: text-generation
  tags:
• lg-ai
• exaone
• exaone-deep
  base_model_relation: finetune

EXAONE-Deep-2.4B GGUF模型

选择正确的模型格式

选择合适的模型格式取决于您的硬件能力和内存限制。

BF16（Brain Float 16）——如果支持BF16加速则使用

• 一种16位浮点格式，专为更快计算而设计，同时保持良好的精度。
• 提供与FP32相似的动态范围，但内存占用更低。
• 如果您的硬件支持BF16加速（请检查设备规格），则推荐使用。
• 与FP32相比，适合高性能推理且减少内存占用。

📌 使用BF16如果：
✔ 您的硬件原生支持BF16（例如，较新的GPU、TPU）。
✔ 您希望在节省内存的同时获得更高精度。
✔ 您计划将模型重新量化为其他格式。

📌 避免使用BF16如果：
❌ 您的硬件不支持BF16（可能会回退到FP32并运行较慢）。
❌ 您需要与缺乏BF16优化的旧设备兼容。

F16（Float 16）——比BF16更广泛支持

• 一种16位浮点格式，精度较高，但数值范围比BF16小。
• 适用于大多数支持FP16加速的设备（包括许多GPU和一些CPU）。
• 数值精度略低于BF16，但通常足以满足推理需求。

📌 使用F16如果：
✔ 您的硬件支持FP16但不支持BF16。
✔ 您需要在速度、内存占用和准确性之间取得平衡。
✔ 您在GPU或其他针对FP16计算优化的设备上运行。

📌 避免使用F16如果：
❌ 您的设备缺乏原生FP16支持（可能会比预期运行更慢）。
❌ 您有内存限制。

量化模型（Q4_K、Q6_K、Q8等）——适用于CPU和低VRAM推理

量化减少了模型大小和内存占用，同时尽可能保持准确性。

• 低比特模型（Q4_K） → 最适合最小内存占用，但精度可能较低。
• 高比特模型（Q6_K、Q8_0） → 更好的准确性，但需要更多内存。

📌 使用量化模型如果：
✔ 您在CPU上运行推理并需要优化模型。
✔ 您的设备VRAM较低，无法加载全精度模型。
✔ 您希望减少内存占用，同时保持合理的准确性。

📌 避免使用量化模型如果：
❌ 您需要最高精度（全精度模型更适合）。
❌ 您的硬件有足够的VRAM支持更高精度格式（BF16/F16）。

极低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

这些模型针对极致内存效率进行了优化，非常适合低功耗设备或大规模部署，其中内存是关键限制因素。

• IQ3_XS：超低比特量化（3位），具有极致内存效率。

  • 使用场景：最适合超低内存设备，甚至Q4_K也过大时。
  • 权衡：与高比特量化相比，准确性较低。

• IQ3_S：小块大小，实现最大内存效率。

  • 使用场景：最适合低内存设备，其中IQ3_XS过于激进。

• IQ3_M：中等块大小，比IQ3_S更好的准确性。

  • 使用场景：适合低内存设备，其中IQ3_S限制过多。

• Q4_K：4位量化，具有块优化以提高准确性。

  • 使用场景：最适合低内存设备，其中Q6_K过大。

• Q4_0：纯4位量化，针对ARM设备优化。

  • 使用场景：最适合基于ARM的设备或低内存环境。

模型格式选择摘要表

包含文件及详情

EXAONE-Deep-2.4B-bf16.gguf

• 模型权重以BF16保存。
• 如果您想将模型重新量化为其他格式，请使用此文件。
• 如果您的设备支持BF16加速，则最佳选择。

EXAONE-Deep-2.4B-f16.gguf

• 模型权重以F16存储。
• 如果您的设备支持FP16，尤其是BF16不可用时使用。

EXAONE-Deep-2.4B-bf16-q8_0.gguf

• 输出和嵌入保持为BF16。
• 其他所有层量化为Q8_0。
• 如果您的设备支持BF16且您需要量化版本，请使用此文件。

EXAONE-Deep-2.4B-f16-q8_0.gguf

• 输出和嵌入保持为F16。
• 其他所有层量化为Q8_0。

EXAONE-Deep-2.4B-q4_k.gguf

• 输出和嵌入量化为Q8_0。
• 其他所有层量化为Q4_K。
• 适合内存有限的CPU推理。

EXAONE-Deep-2.4B-q4_k_s.gguf

• 最小的Q4_K变体，以牺牲准确性为代价减少内存占用。
• 最适合极低内存配置。

EXAONE-Deep-2.4B-q6_k.gguf

• 输出和嵌入量化为Q8_0。
• 其他所有层量化为Q6_K。

EXAONE-Deep-2.4B-q8_0.gguf

• 完全Q8量化模型，提供更好的准确性。
• 需要更多内存，但精度更高。

EXAONE-Deep-2.4B-iq3_xs.gguf

• IQ3_XS量化，针对极致内存效率优化。
• 最适合超低内存设备。

EXAONE-Deep-2.4B-iq3_m.gguf

• IQ3_M量化，提供中等块大小以提高准确性。
• 适合低内存设备。

EXAONE-Deep-2.4B-q4_0.gguf

• 纯Q4_0量化，针对ARM设备优化。
• 最适合低内存环境。
• 如需更高准确性，推荐使用IQ4_NL。

🚀 如果您觉得这些模型有用

请点赞 ❤。同时，如果您能测试我的网络监控助手，我将非常感激 👉 网络监控助手。

💬 点击聊天图标（主页面和仪表板页面右下角）。选择一个LLM；在LLM类型之间切换：TurboLLM -> FreeLLM -> TestLLM。

我正在测试的内容

我正在尝试对我的网络监控服务进行函数调用。使用小型开源模型。我正在研究的问题是“模型可以小到什么程度，同时仍能正常工作”。

🟡 TestLLM – 在6个CPU线程的虚拟机（VM）上使用llama.cpp运行当前测试模型（加载大约需要15秒。推理速度较慢，且一次只能处理一个用户提示——仍在扩展中！）。如果您感兴趣，我很乐意分享它的工作原理！

其他可用的AI助手

🟢 TurboLLM – 使用gpt-4o-mini，速度快！注意：由于OpenAI模型价格昂贵，令牌有限，但您可以登录或下载免费的网络监控代理以获取更多令牌，或者使用TestLLM。

🔵 HugLLM – 运行开源Hugging Face模型，速度快，运行小型模型（≈8B），因此质量较低，获取2倍更多令牌（受Hugging Face API可用性限制）。

EXAONE-Deep-2.4B

简介

我们推出EXAONE Deep，该模型在包括数学和编程基准在内的各种推理任务中表现出卓越能力，参数规模从2.4B到32B，由LG AI Research开发和发布。该模型在论文EXAONE Deep: Reasoning Enhanced Language Models中描述，代码可在此处获取。评估结果显示：1) EXAONE Deep 2.4B在同等规模模型中表现优异；2) EXAONE Deep 7.8B不仅优于同等规模的开源模型，还优于专有推理模型OpenAI o1-mini；3) EXAONE Deep 32B在与领先的开源模型竞争中表现出色。

更多详情，请参阅我们的文档、博客和GitHub。

本仓库包含具有以下特点的2.4B推理语言模型：

• 参数数量（不含嵌入）：2.14B
• 层数：30
• 注意力头数：GQA，32个Q头和8个KV头
• 词汇量：102,400
• 上下文长度：32,768个令牌
• 绑定词嵌入：True（与7.8B和32B模型不同）

注意

EXAONE Deep模型采用优化配置训练，因此建议遵循使用指南部分以实现最佳性能。

评估

下表展示了数学和编程等推理任务的评估结果。完整评估结果可在文档中找到。

模型	MATH-500 (pass@1)	AIME 2024 (pass@1 / cons@64)	AIME 2025 (pass@1 / cons@64)	CSAT Math 2025 (pass@1)	GPQA Diamond (pass@1)	Live Code Bench (pass@1)
EXAONE Deep 32B	95.7	72.1 / 90.0	65.8 / 80.0	94.5	66.1	59.5
DeepSeek-R1-Distill-Qwen-32B	94.3	72.6 / Phi 2 GGUF 其他 Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。 大型语言模型 支持多种语言 P TheBloke 41.5M 205 Roberta Large MIT 基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法 大型语言模型 英语 R FacebookAI 19.4M 212 Distilbert Base Uncased Apache-2.0 DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。 大型语言模型 英语 D distilbert 11.1M 669 Llama 3.1 8B Instruct GGUF Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。 大型语言模型 英语 L modularai 9.7M 4 Xlm Roberta Base MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 9.6M 664 Roberta Base MIT 基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调 大型语言模型 英语 R FacebookAI 9.3M 488 Opt 125m 其他 OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。 大型语言模型 英语 O facebook 6.3M 198 Llama 3.1 8B Instruct Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。 大型语言模型 Transformers 支持多种语言 L meta-llama 5.7M 3,898 T5 Base Apache-2.0 T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。 大型语言模型 支持多种语言 T google-t5 5.4M 702 Xlm Roberta Large MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 5.3M 431 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策