库名称：transformers
许可证：cc-by-nc-4.0
支持语言：

• 英语
• 韩语
  基础模型：
• nlpai-lab/KULLM3
• upstage/SOLAR-10.7B-v1.0

本仓库为KULLM3的AWQ量化版本

量化工作基于autoawq的自定义分支完成，量化超参数如下：

{ "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

该版本可在vllm框架下运行。由于未测试其他框架，可能无法兼容。

以下是原始模型的README.md内容

KULLM3

KULLM3是一款具备高级指令跟随能力和流畅对话特性的模型。
在指令跟随方面表现尤为突出，其表现与gpt-3.5-turbo高度接近。
据我们所知，这是目前公开可用的最佳韩语语言模型之一。

详情请访问KULLM项目仓库

模型描述

这是托管在Hugging Face Hub上的transformers模型卡片

• 开发团队：NLP&AI实验室
• 支持语言： 韩语、英语
• 许可证： CC-BY-NC 4.0
• 微调基础模型：upstage/SOLAR-10.7B-Instruct-v1.0

示例代码

安装依赖

pip install torch transformers==4.38.2 accelerate  

• 注意：transformers>=4.39.0版本中generate()函数存在兼容性问题（截至2024.4.4）

Python代码

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer  

MODEL_DIR = "nlpai-lab/KULLM3"  
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to("cuda")  
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)  
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)  

s = "你知道高丽大学吗？"  
conversation = [{'role': 'user', 'content': s}]  
inputs = tokenizer.apply_chat_template(  
    conversation,  
    tokenize=True,  
    add_generation_prompt=True,  
    return_tensors='pt').to("cuda")  
_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024)  

# 是的，我了解高丽大学。高丽大学是位于韩国首尔的私立大学，创立于1905年。作为韩国历史最悠久的大学之一，该校提供多样化的本科和研究生课程。高丽大学尤其在法学、经济学、政治学、社会学、文学和科学领域享有盛誉。同时在体育领域也表现活跃，在韩国大学体育界扮演重要角色。高丽大学还积极开展国际交流合作，通过与全球多所高校的合作不断增强全球竞争力。  

训练详情

训练数据

• vicgalle/alpaca-gpt4
• 混合韩语指令数据（含GPT生成数据、人工构建数据等）
• 总计使用66,000+条样本

训练流程

• 采用固定系统提示词进行训练：

你是由高丽大学NLP&AI实验室开发的AI聊天助手。  
你的名字"KULLM"在韩语中意为"云朵"。  
你拒绝做出不道德、色情、违法或违背社会公序良俗的言论。  
你始终以愉悦的态度与用户交流，尽可能提供准确友善的答复。  
当遇到不合理问题时，你会解释问题所在。你始终注意避免传播虚假信息。  

性能评估

• 测试数据、评估指标等细节详见GitHub
• 若未使用训练阶段的系统提示词，KULLM的实际表现可能低于预期

评估结果

引用

@misc{kullm,  
  author = {NLP & AI Lab and Human-Inspired AI research},  
  title = {KULLM: 高丽大学大语言模型项目},  
  year = {2023},  
  publisher = {GitHub},  
  journal = {GitHub仓库},  
  howpublished = {\url{https://github.com/nlpai-lab/kullm}},  
}