语言:

• 中文
• 英文
  许可证: GPL-3.0
  标签:
• deepseek
• qwen
• lora
• 文本生成
• 因果语言模型
• 审批
• 蒸馏
  管道标签: 文本生成
  模型索引:
• 名称: 审批局合并模型
  结果:
  • 任务:
    类型: 文本生成
    名称: 文本生成
    指标:
    • 类型: 困惑度
      值: "N/A" # 实际值可替换
      名称: 困惑度

审批局合并模型

该模型是将基础模型DeepSeek-R1-蒸馏-Qwen-32B与approval_bureau_model_lora适配器合并后的产物。

模型基本信息

• 基础模型: DeepSeek-R1-蒸馏-Qwen-32B
• LoRA适配器: approval_bureau_model_lora
• 模型类型: 因果语言模型
• 参数量级: 320亿
• 语言支持: 中英双语，侧重中文

模型特性

• 基于强大的DeepSeek-R1-蒸馏-Qwen-32B架构
• 融合审批场景专用的LoRA微调层
• 适用于文档审核、文本生成及内容审批相关场景
• 在保留基础模型推理能力的同时强化了领域专项功能

使用指南

通过Transformers加载模型

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  

# 配置模型路径  
model_path = "distill/approval-bureau-merged"  # 或本地路径  

# 加载模型与分词器  
tokenizer = AutoTokenizer.from_pretrained(model_path)  
model = AutoModelForCausalLM.from_pretrained(  
    model_path,  
    torch_dtype=torch.float16,  # 半精度节省显存  
    device_map="auto"           # 自动分配计算设备  
)  

# 文本生成示例  
input_text = "请审核以下文档内容："  
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)  
outputs = model.generate(  
    inputs.input_ids,  
    max_length=500,  
    temperature=0.7,  
    top_p=0.9  
)  
response = tokenizer.decode(outputs[0], skip_special_tokens=True)  
print(response)  

流式输出示例

from transformers import TextIteratorStreamer  
from threading import Thread  

# 初始化流式处理器  
streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True)  

# 配置生成参数  
generation_kwargs = {  
    "input_ids": inputs.input_ids,  
    "max_length": 500,  
    "temperature": 0.7,  
    "top_p": 0.9,  
    "streamer": streamer  
}  

# 启动后台生成线程  
thread = Thread(target=model.generate, kwargs=generation_kwargs)  
thread.start()  

# 实时输出生成内容  
for text in streamer:  
    print(text, end="", flush=True)  

重要提示

• 需配备大显存GPU（建议24GB以上）
• 资源受限环境推荐使用4-bit或8-bit量化
• 模型输出仅供参考，重要决策需人工复核

许可声明

本模型采用GPL-3.0许可证，使用前请充分理解授权条款。

致谢

鸣谢DeepSeek与Qwen团队提供基础模型，以及所有参与模型训练调优的开发人员。