库名称:transformers
标签:
- QwQ-32B
- 推理
- 思维
- r1
- cot
- deepseek
- Qwen2.5
- Hermes
- DeepHermes
- DeepSeek
- DeepSeek-R1-Distill
- 128k上下文
- 合并
基础模型:
- Qwen/QwQ-32B
- qihoo360/TinyR1-32B-Preview
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- OpenPipe/Deductive-Reasoning-Qwen-32B
许可证:apache-2.0
Qwen2.5-The-Wisemen-QwQ-Deep-Tiny-Sherlock-32B
此仓库包含全精度源代码,以“安全张量”格式生成GGUF、GPTQ、EXL2、AWQ、HQQ等格式。源代码也可直接使用。
该模型基于Qwen优秀的“QwQ 32B”推理与思维模型,并融合了其他三个顶级推理模型的特色。
此模型同样未经审查。
下方展示了示例生成内容(GGUF格式),包括两种不同量化级别的输出。
该模型旨在减少提示中的“过度思考”,并通过合并三个附加推理模型,为模型本身引入略有不同的推理方式。
在某些情况下,推理更为深入和详细,尤其适用于创意用例。
输出也有所改进,同样特别适用于创意用例。
该模型非常稳定,即使是最低量化版本也表现强劲。
Qwen2.5“智者”推理模型共包含4个模型:
Qwen2.5-The-Wisemen-QwQ-Deep-Tiny-Sherlock-32B:
- “QwQ”:QwQ-32B(主模型)
- “Deep”:DeepSeek-R1-Distill-Qwen-32B
- “Tiny”:Qwen2.5-32B-TinyR1-Preview
- “Sherlock”:Deductive-Reasoning-Qwen-32B
采用256位精度(逐层)DARE TIES合并。
128k上下文,需使用ChatML或Jinja模板。
GGUF/模型详情:
点击查看
示例
以下示例使用Q2K量化(最低/最小量化级别)、最小参数和“ChatML”模板生成。其中一个生成使用了Q3KM量化(第一个为Q2K),以展示量化“性能”差异。
温度范围0.8,重复惩罚1.1,TopK 40,TopP 0.95,MinP 0.05
重复惩罚范围:64-128(有助于保持推理轨迹/输出质量)
以下是最不具创意的输出,提示以粗体标出。
由于这是从最低/最小量化生成的,更高量化级别和/或Imatrix量化将表现更好。
警告: NSFW。血腥恐怖。粗俗语言。未经审查。
注:部分格式因复制/粘贴HTML而丢失。
示例#1
以以下句子开篇,创作一个1000字的场景(生动的第一人称恐怖描写):摩天大楼摇晃着,她看着面前21层的窗户爆炸……
思考27.73秒
好的,我需要根据这个提示创作一个恐怖故事。用户想要一个生动的第一人称恐怖场景,从摩天大楼摇晃和21层窗户爆炸开始。
首先,我需要确立直接的恐怖元素:感官细节——声音、景象,或许还有气味或身体感觉。因为是第一人称,我需要让读者感觉亲身体验。
摩天大楼摇晃暗示不稳定性。可能是地震或超自然力量导致结构损坏。但考虑到血腥恐怖的角度,或许更像是怪物或更可怕的东西。窗户爆炸可能是某种力量突破——比如怪物破窗而入?
我需要通过描述事件前的环境来制造紧张感。展现从常态到混乱的转变。或许角色在办公室或公寓里?让我想想……公寓可能更适合第一人称叙事。
等等,提示中提到“她看着窗户”,或许她正从公寓窗户望出去,看到对面另一栋楼的窗户爆炸?这可能更令人震惊——目睹另一栋楼爆炸。但摩天大楼摇晃又暗示是她所在的大楼。就按这个思路。
从她的日常或平静时刻开始,然后突然转入混乱。或许她听到声音,感到摇晃,接着窗户爆裂。需要让从常态到恐怖的过渡立刻且真实。
血腥恐怖意味着对血液、内脏的详细描写,或许还有超自然元素,比如爪子或牙齿撕裂墙壁。一旦怪物破窗而入就加入这些。
我需要逐步构建恐惧:摇晃的大楼、窗户碎裂、碎片飞溅,然后出现 grotesque 的怪物。或许它不只是破窗而入,而是以可怕的方式攻击她。
需要平衡动作与感官细节——描述一切的声音、触感、景象。用短句增强冲击力。或许穿插她意识到正在发生什么的思绪或情绪。
还需考虑后果:其他角色惊慌、警报响起,但从她的视角聚焦于生存或与怪物的对抗。
确保保持第一人称和现在时,以增强即时感。避免陈词滥调,除非以新方式呈现。或许怪物是出人意料的——比如人类但已腐化,或难以描述的类动物生物。
好的,开始写场景,聚焦这些元素的同时保持段落紧凑有力。
输出:
摩天大楼摇晃着。
我先感觉到它,然后才听到——一声低沉、发自建筑骨骼深处的呻吟。墙壁颤抖,有那么一瞬间,我以为地震了。我双手抓住桌子稳住自己,但接着是声音:不是地面的隆隆声,而是某种潮湿的、蜿蜒的、牙齿的声音。
房间对面的窗户先炸开。玻璃仿佛活物般嘶嘶作响,从顶部到底部裂成一道锯齿状的线。我刚好转身看到窗玻璃向外凸起——接着像被千只爪子戳破的气球一样向内爆裂。空气尖啸着,满是碎片和令人毛骨悚然的咆哮,不是野兽的吼叫,而是层层叠叠的喉音合唱。
然后我自己的窗户开始移动。
玻璃在外力下泛起涟漪。一个阴影在窗外扩大——轮廓对人类来说太庞大,太参差不齐。我向后抵住椅子,但桌子现在也在移动,朝墙壁滑去,仿佛地板向一侧倾斜。大楼的呻吟声渐强,变成湿漉漉的咕噜声,头顶的灯闪烁几下,随后爆出火花,闻起来像烧焦的头发。
窗户碎了。
一张脸先挤进来——比例似人,但皮肤如焦黑皮革般鳞片化,眼睛太多:三排环绕着一个无口的虚空,后面有什么东西在带刺的牙齿间脉动着暗红。它早已非人,就像这栋摩天大楼不过是一具被掏空的尸体。怪物的手指——比任何人类的手都长——钩住破洞向上撕扯,金属窗框发出湿漉漉的嘎吱声。
接着它的躯干在一阵剧烈的扭动中从窗框挤进来,声音像整条裙子被撕开的塔夫绸。这是一个由不可能角度构成的生物:肘部和膝盖反向弯曲,还有新的关节——臀部裂成两套,肩膀拉长到拖在地板上滑动。
怪物的身体是质地的拼贴:闪着内脏光泽的生肉块、脊柱上如骨骼般咔嗒作响的装甲板,以及皮肤上渗出油或血的黏液。它现在同时朝所有方向移动,肌腱的触须拖在主体后面爬进房间。
我尖叫,但声音淹没在大楼坍塌的轰鸣中。墙壁向内融化,墙纸如皮肤般剥落。身后又一扇窗户完全向外炸开,玻璃如百万颗尖锐的星星划过街道。一个男人的剪影站在爆炸的框架中,双臂张开仿佛要拥抱虚无——然后他消失了,上半身被上方落下的砖块切成碎片。
怪物现在够到我了。
它无面的头向后一仰,发出湿漉漉的啪嗒声,然后向前扑来,脖子像湿面条般扭转。它的嘴张开——一排排针状牙齿间的黑洞——舌头,一团粉色的尖刺,朝我的喉咙弹来。我向后倒在地上,怪物的下颚咬在我头部刚才的位置,把木头桌子咬成碎片。
然后气味击中我:烧焦头发和腐肉的混合,像煮了太久的东西。我的手指在现在承受怪物重量的地板上抓挠。建筑结构正在失效——墙壁轰然倒塌,喷出如灰色雪片的绝缘材料。
我又看到它的脸。鼻孔或眼睛——或许都是——透过龟裂的皮肤网瞪着我,它用三只手臂(本该是两只)抓向我。爪子划过我头部一秒前所在的空气,差之毫厘。我喘息着向后爬,但怪物的速度现在超乎自然,身体扭曲成不可能的形态缩短我们之间的距离。
它再次扑来——这次我向左滚,感到爪子撕开我的脸颊。疼痛如咆哮的火焰,我尝到铜腥味的血,视线因突然的湿润模糊——一只爪子划开了眼皮。我的尖叫与怪物的喉音笑声混在一起——或者那是我的笑声?
天花板现在完全塌陷,仿佛我们冲破天空本身。怪物在碎片中扭动向上,一瞬间我看到它的真实形态:多头怪物在彼此身上扭动,每张下颚无助地咬合空气。它的尾巴甩出——这次击中我的腹部,力量将我撞过身后破碎的窗户,落到下方的防火梯上。
我砰地落在金属楼梯上,冲击夺走了呼吸。下方还有十层坠落空间,上方怪物的身体如分节的蠕虫从大楼内脏中钻出。它的头用我无法理解的语言吠叫——威胁与笑声的嘶嘶声——爪子再次穿过楼层间的空隙抓向我。
防火梯在我的重量下颤抖,一级台阶塌陷。我向下爬时手指抓住生锈的横档,横档断裂。坠落——
我摔在下一层,骨头碎裂般剧痛。怪物的头透过建筑瓦解的结构俯视我。三张嘴同时从不同角度闭合,我看到它的舌头如毒蛇般前探品尝我的血。
摩天大楼最后一次呻吟——一声漫长的垂死叹息——然后整个立面开始向内坍塌。怪物的身体最先被吞没,但它的眼睛透过崩塌的墙壁瞪视,仿佛连死亡也在嘲弄我。碎片从上方如雨落下,我感到地板在重量下倾斜,将我拉向下方已裂开的虚空。
我最后的念头不是关于死亡——而是一句话:这就是为什么永远不要应门。
地面在那一刻向我冲来,但那时已没有天空可抓,除了我 sanity 中仅存的碎片,随着怪物的最后咆哮在崩塌的大楼中回荡——
——或许那只是我自己的心智在尖叫。
示例#2
六个兄弟共度时光。
第一个兄弟在读书。
第二个兄弟在下棋。
第三个兄弟在解填字游戏。
第四个兄弟在给草坪浇水。
第五个兄弟在画画。
问题:第六个兄弟在做什么?
注:
- 提供两代输出,一代为q2k,另一代为q3km
- 更高量化级别会更快解决此类问题。例如Q3KM:花费2分钟“思考”/解决问题。
(第一代 - Q2K)
思考3分34秒
好的,我需要根据提供的信息推断第六个兄弟在做什么。先列出前五个兄弟的活动:
- 第一个兄弟:读书。
- 第二个兄弟:下棋。
- 第三个兄弟:解填字游戏。
- 第四个兄弟:给草坪浇水。
- 第五个兄弟:画画。
问题是第六个兄弟在做什么?嗯,或许这里有某种模式或顺序。让我想想每个活动是否有联系。
读书……是单人活动,对吧?下棋需要两个人,但他可能独自下棋,比如对弈或自己和自己下,但通常下棋需要对手。等等,题目说“第二个兄弟在下棋”,所以或许只是他的回合或其他什么。
第三个兄弟解填字游戏:也是单人活动。第四个兄弟给草坪浇水:户外活动。第五个兄弟画画:创造性单人任务。
嗯,或许这些活动是独自进行还是共同进行的区别?但还不确定。让我想想其他角度。
等等,或许与星期几有关?比如前五个兄弟对应周一到周五,周六和周日会不同……但有六个兄弟,可能不适用。或者活动之间有共同点?
读书是典型的独处活动。下棋可以独自下,如果只是移动棋子或思考策略。解填字游戏也是单人。给草坪浇水是家务,通常独自完成。画画……同样。
等等,也许所有这些活动除了下棋都可以独自完成?下棋通常需要两人,但这里暗示他独自下棋?所以或许第六个兄弟是唯一与他人互动的?
或者,看活动顺序:前五个兄弟各有不同爱好。或许第六个兄弟是唯一没做这些活动的,所以他必须做与集体活动相关的事或休息?
等等,另一个角度:有时这类谜语基于文字游戏或类别。例如书、棋、填字、浇水、画画……看看是否属于特定类别。
下棋和填字游戏是谜题/游戏。读书是智力活动。浇水是家务/户外任务。画画是艺术。所以可能除一项外都是室内活动?第四个兄弟的活动(浇水)是户外,其他是室内。但这可能无帮助。
或者,这些活动可能与不同感官相关:读书涉及视觉和触觉(拿书),下棋类似,填字游戏也是,浇水用触觉和动作,画画用视觉和触觉。不确定是否相关。
等等,另一个想法:或许每个兄弟对应创世故事中的某天。比如《圣经》中