library_name: transformers tags:

• 文本生成推理 license: apache-2.0 language:
• 英文 base_model:
• NousResearch/DeepHermes-3-Llama-3-3B-Preview pipeline_tag: 文本生成

DeepHermes-3-Llama-3-3B-Preview-Abliterated

DeepHermes 3预览版Abliterated是我们Nous Research旗舰级Hermes系列大语言模型的最新版本，也是全球首批将推理（通过长思维链提升答案准确性）与常规LLM响应模式统一到一个模型中的先驱之一。我们还优化了模型的注释生成、判断能力和函数调用功能。该版本作为混合推理模型，首次实现了"直觉式"传统响应与长思维链推理响应的系统提示切换集成。

使用示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import flash_attn
import time

tokenizer = AutoTokenizer.from_pretrained("prithivMLmods/DeepHermes-3-Llama-3-3B-Preview-Abliterated")

model = AutoModelForCausalLM.from_pretrained(
    "prithivMLmods/DeepHermes-3-Llama-3-3B-Preview-Abliterated",
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "你是一个深度思考型AI，可以通过极长的思维链进行系统化推理，在回答问题前进行充分自我推演。请将思考过程包裹在<think></think>标签中，最终给出问题解决方案。"
    },
    {
        "role": "user",
        "content": "若y=2*2-4+(3*2)，求y的值"
    }
]

input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors='pt').to("cuda")
generated_ids = model.generate(input_ids, max_new_tokens=2500, temperature=0.8, repetition_penalty=1.1, do_sample=True, eos_token_id=tokenizer.eos_token_id)
print(f"生成标记数: {generated_ids.shape[-1:]}")
response = tokenizer.decode(generated_ids[0], skip_special_tokens=True, clean_up_tokenization_space=True)
print(f"响应内容: {response}")

设计用途

DeepHermes-3-Llama-3-3B-Preview-Abliterated专为高级推理、问题解决和结构化思维生成而设计。该模型无缝整合直觉式响应与深度思维链推理，特别适合需要逻辑推演、复杂问题分析和AI辅助决策的场景。凭借增强的注释生成、判断能力和函数调用特性，本模型可广泛应用于科研、自动化流程、编程辅助，以及对准确性和可解释性要求较高的学术/专业AI应用领域。