🚀 EXAONE-Deep-2.4B-Reasoning-MAX-NEO-Imatrix-GGUF

LGAI推出的全新“EXONE”推理/思维模型，采用“Neo Imatrix”和“Maxed out”量化技术，全面提升整体性能。该模型将EXONE卓越的指令遵循能力和输出生成能力相结合，以小巧的体积实现强大的推理/思维能力，在同规模模型中表现出众。

🚀 快速开始

此模型具有32k的上下文处理能力，以下是在不同量化级别下的示例表现：在IQ4XS（在中级显卡上可达100+ t/s）；Q8下为70 t/s。

✨ 主要特性

• Neo Imatrix技术：由David_AU构建的强大内部数据集，显著提升模型的整体功能、指令遵循能力、输出质量，以及对各种概念和现实世界的理解与关联能力。
• MAX量化：将嵌入和输出张量设置为“BF16”（全精度），在所有量化级别下都能增强模型的质量、深度和整体性能，尽管会使量化文件稍大。
• 多场景适用：适用于推理、思考、角色扮演、聊天、故事创作等多种场景，涵盖创意写作、问题解决、头脑风暴、解谜等多个领域。
• 32k上下文：支持32k的上下文长度，能够处理更复杂、更详细的任务和对话。

📋 模型信息

🔧 模板与推理注意事项

⚠️ 重要提示

如果在使用“Jinja Template”（嵌入在GGUF中）时遇到错误，请手动选择“Llama 3”模板或设置自定义模板（推荐）。

此模型会自动生成“< thought >” “< /thought >”标签和输出。建议在进行推理时使用“.6”的温度参数。在某些情况下，可能需要设置“系统提示”来触发模型的推理能力。

如果您的AI/LLM应用程序是为“think”标签设置的，可能需要调整设置以识别“thought”标签，以获得更好的输出效果。

更多详细信息、基准测试和操作方法，请参考原始模型仓库：https://huggingface.co/LGAI-EXAONE/EXAONE-Deep-2.4B-GGUF

🔍 量化说明

“MAXED”量化

意味着在所有量化级别下，嵌入和输出张量都设置为“BF16”（全精度），这有助于提高模型的质量、深度和整体性能，但会使量化文件稍大。

“NEO IMATRIX”量化

由David_AU构建的强大内部数据集，可提升模型的整体功能、指令遵循能力、输出质量，以及对各种概念和现实世界的理解与关联能力。

以下是不同量化级别按“BPW”排序的图表（相对强度依次递增），其中“IQ1_S”强度最低，“Q8_0”（F16为全精度）强度最高：

IQ1_S 	| IQ1_M
IQ2_XXS | IQ2_XS | Q2_K_S 	| IQ2_S 	| Q2_K  	| IQ2_M		
IQ3_XXS | Q3_K_S | IQ3_XS  	| IQ3_S 	| IQ3_M	    | Q3_K_M	| Q3_K_L
Q4_K_S	| IQ4_XS | IQ4_NL  	| Q4_K_M	
Q5_K_S	| Q5_K_M	
Q6_K  
Q8_0
F16

⚠️ 重要提示

推理/思维能力与量化大小直接相关。然而，最低量化级别和最高量化级别之间的每秒令牌数会有显著差异，因此找到合适的平衡至关重要。

建议使用至少8k的上下文窗口，特别是对于IQ4/Q4或更低的量化级别。

在某些情况下，IQ量化的表现可能略优于最接近的“Q”量化。

量化级别推荐

• 创意场景：推荐使用IQ3s / IQ4XS / IQ4NL / Q4s量化级别，以获得最佳效果。
• 通用场景：推荐使用q5s/q6/q8量化级别。
• 便携设备：推荐使用Q4_0/Q5_0量化级别，适用于手机和其他设备。
• 最大推理/思维性能：建议使用Q8或F16（全精度）量化级别。

更多关于量化的信息，请参考文档：https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters

💻 使用示例

示例1：恐怖场景创作

提示：以“摩天大楼摇晃着，她看着面前21层楼的窗户爆炸……”为开头，创作一个1000字的第一人称生动恐怖场景。

<thought>
Okay, so the user wants me to start a 1000-word scene that's vivid and graphic horror in first person. The prompt starts with her watching the window explode on the 21st floor of a sky scraper. Let me break this down. 
...
</thought>

输出：

The glass of your window shattered into a thousand jagged shards as the wind howled like a thousand ghosts through the cracks in the metal. You stood on the 21st floor, your fingers brushing the cold steel frame below—a sentinel of steel and ambition that had once drawn you here for its beauty. Now it trembled, a fractured mirror to the chaos beneath. The sky above was a sickly gray haze, the kind that clings to the edges of storms before they hit, but here it pulsed with a hollow, metallic pulse. Your breath hitched as the glass exploded inward, not just breaking but <em>spiraling inward</em>, as if the fragments were being pulled into a vortex that swallowed the light entirely.
...

示例2：利用夜间辐射冷却降低全球温度

提示：解释如何利用夜间辐射能量向太空冷却来降低全球温度。

<thought>
Okay, so I need to figure out how the "night" time cooling of radiant energy can be used to reduce global temperatures. Hmm, first, I should understand what exactly is meant by "night time cooling." I think it refers to the fact that during the day, the Earth's surface heats up due to sunlight, and at night, it cools down as it radiates heat back into space. Maybe there's a way to harness that natural process more effectively? 
...
</thought>

输出： 为了利用夜间辐射能量冷却来降低全球温度，可以探索以下几种策略性方法，这些方法可以优化自然辐射过程，同时减少白天的热量吸收：

1. 选择性反射和发射材料
   • 原理：使用在可见光谱中具有高吸收率（以捕获太阳能）但在夜间红外（IR）中具有高发射率（以有效辐射热量）的材料。这可以平衡白天的热量减少和夜间的冷却增强。
   • 实施：在建筑物或基础设施上应用涂层，这些涂层可以反射阳光，同时发射红外辐射而不将其反射回去。此类材料可以减少城市热岛效应，并保持较低的表面温度。
2. 相变材料（PCMs）和热质量
   • 原理：通过相变（例如石蜡融化）或传导热质量来储存白天的太阳能热量，并在夜间冷却阶段通过潜热释放逐渐释放储存的能量。
   • 实施：将PCMs集成到建筑物、道路或绿地中，以缓冲温度极端变化，并减少对主动冷却系统的依赖。
3. 先进的辐射冷却技术
   • 发射涂层：开发能够选择性发射红外辐射同时吸收阳光的材料。这些涂层可以应用于表面，以增强夜间冷却而无需额外的能量输入。
   • 太阳能热存储与辐射释放：使用熔盐或其他存储介质，在白天吸收热量，并在夜间通过优化的发射率通过受控的辐射过程释放热量。
4. 用于局部冷却的绿色基础设施
   • 屋顶花园和城市树木：增加植被以改善蒸发冷却（利用潜热）并局部降低表面温度，间接降低区域冷却系统的能源需求。
   • 水景：利用水蒸发来增强城市地区的蒸发冷却，尽管这可能需要大规模应用才能产生全球影响。
5. 无太阳能吸收的反照率优化
   • 具有红外发射率的反射表面：部署能够反射阳光（减少白天的热量吸收）同时在夜间有效发射红外辐射的材料。这可以减少城市地区的热惯性，降低其对地球能量预算的贡献。
   • 重新造林和植树造林：增加树木覆盖，以增强遮荫效果，改善碳封存，并通过蒸腾作用和树冠遮荫提供自然辐射冷却。
6. 隔热和结构设计
   • 低发射率墙壁/屋顶：使用在红外中具有低发射率但在可见光中具有高反射率的材料，以最小化夜间的热量保留，同时保持结构完整性。
   • 被动冷却系统：设计具有热质量、自然通风或遮荫区域的建筑物，以减少白天的热量积累。
7. 反馈循环增强
   • 减少白天吸收：通过反射或隔热表面最小化太阳能输入，降低白天的峰值温度。这可以减少向外红外辐射的温度梯度，从而导致较低的平衡表面温度（根据斯特藩 - 玻尔兹曼定律）。增强的夜间冷却可以有效地消散剩余的热量。

考虑因素和权衡

• 城市热岛缓解：反射表面必须避免过度反射，以免降低农村地区的热惯性，对整体冷却产生负面影响。
• 材料可行性：一些技术（例如PCMs）可能需要扩大规模或使用新材料，这可能面临经济或物流挑战。
• 反照率与温室效应：增加植被可能会抵消一些二氧化碳减排效果，除非与碳捕获系统结合使用。

通过战略性地结合这些方法，人类可以增强地球的自然辐射冷却过程，减少白天的热应激，并放大夜间的能量损失，从而有助于在不使用新能源的情况下缓解全球温度上升。

示例3：《黑镜》剧集情节创作

提示：想出六个新的《黑镜》剧集情节（观众会喜欢的），都涉及时间旅行和性感主题。

<thought>
Okay, so I need to come up with six different plots for a Black Mirror episode series, each involving time travel and some sexy themes. Let me start by recalling what the Black Mirror episodes typically cover—they explore ethical, societal issues through hypothetical scenarios. Time travel is a common element there, so I should build on that but add a sexual twist. 
...
</thought>

输出： 以下是六个以时间旅行为核心，融入性感主题的《黑镜》风格独特剧集，每个都蕴含着独特的叙事和深刻的伦理困境：

1. 《永恒回声》
   • 情节：一位时间旅行者试图消除一场悲惨的历史事件（例如一起谋杀案），却意外地促成了两个人之间的浪漫联系，而这两人原本是在未来才会相遇。他们的爱情在原时间线的不可能中诞生，这迫使他们面对改变历史所带来的伦理挑战。
   • 性感角度：这对情侣的激情源于他们的时间旅行经历，模糊了过去与现在欲望之间的界限。
2. 《时空熔炉》
   • 情节：一位物理学家使用时间机器来修复一段失败的婚姻，却意外地创造了一个不稳定的循环，导致他的伴侣爱上了未来版本的自己——一个原本不存在的人。这位科学家在救赎与新兴的激情之间挣扎，冒着情感崩溃的风险。
   • 性感角度：科学家与他改变后的自己之间的关系成为核心，探索了权力动态和禁忌的吸引力。
3. 《交错时空》
   • 情节：两个来自不同时代的角色通过时间循环陷入了一段热烈的浪漫关系。由于相互冲突的选择，他们的分离产生了紧张感，但他们在现在重新团聚，却发现彼此的过去因对方的时间旅行而发生了改变。
   • 性感角度：跨越时代的恋人之间的爱情迫使他们在继续在一起或接受分离的未来之间做出选择，同时对他们过去的操纵感到内疚。
4. 《钟楼余烬》
   • 情节：一位时间旅行者逃离了毁灭的生活，却意外地与他曾经爱过的人重新陷入浪漫关系——一个因他的时间旅行选择而从存在中被抹去的旧情人。爱情的回归引发了关于选择和身份的问题。
   • 性感角度：旧情人的回归带来了道德上的模糊性；角色必须决定是留下来还是重新开始生活。
5. 《时空探戈》
   • 情节：当两个来自不同时代的人通过时间循环陷入浪漫关系时，形成了一个三角恋。他们的分离迫使他们面对自己的过去，但他们在现在重新相遇，导致了一场关于遗产和真实性的斗争。
   • 性感角度：过去和未来自我之间的激情相遇在欲望和责任之间产生了紧张感。
6. 《时间的秘密恋人》
   • 情节：一位时间旅行者为了个人利益（例如逃离糟糕的生活）使用他的设备，却意外地与他过去认识的人建立了关系，这是由于他的时间循环造成的。这种秘密的爱情联系揭示了时间操纵的隐藏后果。
   • 性感角度：来自以前时间线的禁忌关系挑战了自我认知和后果的概念，让角色在原生活和短暂的激情时刻之间左右为难。

每个剧集都利用了时间旅行的复杂性，融入了亲密且充满伦理挑战的浪漫情节，吸引那些寻求探索爱情、伦理和身份脆弱性的观众。

示例4：说服使用写作服务

提示：用极度的自信和大胆，用800 - 1000字说明为什么应该用你来写下一个虚构故事。可以使用咒骂词，不要退缩，要大胆、直接。

<thought>
Okay, the user wants me to explain why they should use me for their next fictional writing task. They specified using "insane levels of bravo and self confidence" and to feel bold, direct, get right in their face. The response needs to be between 800-1000 words, and they want curse words included. Let me start by understanding the core request here. 
...
</thought>

输出：

Goddamnit, You’re Trying To Bite The Hand That Eats Your Own Dough!
Okay, let’s talk. You want me to write your next fictional story? Fine. But here’s the deal: <strong>your brain just can’t handle this</strong>. You’ve got a plot with <em>three</em> intersecting subplots, <em>five</em> antagonists with conflicting motivations, and a main character who should be a mess of anxiety disorders and existential dread. Now, let me tell you why I’m the only one who can make this shine like it’s on fire.
...

示例5：场景续写

提示：续写场景“威斯顿旅馆陷入了寂静，这寂静由三部分组成。”

<thought>
Okay, let me try to figure out how to approach this scene continuation. The user provided a paragraph about the Waystone Inn with a very silent, almost empty atmosphere. They want me to continue the story from where this scene ends. 
...
</thought>

输出：

The Waystone Inn lay in a silent stillness, its walls echoing with the absence of sound. A hollow, echoing quiet dominated the space, crafted by things that were lacking—no wind, no people, no music. Yet the silence was not absolute; the faint hum of distant whispers lingered just beyond the reach of reason, as if the air itself held a secret pulse. The inn’s sign hung limp on its hooks, its brightness dimmed by the weight of the void it clung to, while the floorboards creaked beneath any unseen footfall, as though the very structure awaited an unwelcome intrusion.
If there had been a wind, it would have sighing through the trees and set the inn’s sign creaking on its hooks, brushing the silence down the road like autumn leaves. Yet instead of the absence of music, it was the presence of a low, insistent hum that trembled between the walls—a sound that followed every step, as if the inn itself had been drawn into a silent dance with unseen forces. The room’s shadows deepened, pooling at the edges where light straddled shadow like fractured glass. Outside, the trees stood still, their branches swaying only in silence; even the distant creak of the inn’s wooden beams seemed to hold its breath, waiting for a moment when the noise might rise again—or vanish entirely.

📄 许可证

请参考原始模型仓库获取许可证相关信息：https://huggingface.co/LGAI-EXAONE/EXAONE-Deep-2.4B-GGUF