🚀 Midm-2.0-Base-Instruct GGUF模型

Midm-2.0-Base-Instruct GGUF模型是用于文本生成的模型，基于transformers库，在多方面具有出色表现，能为用户提供高效的文本生成服务。

🚀 快速开始

以下是使用该模型进行对话推理的代码片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Base-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformers库的版本应在4.45.0或更高。

✨ 主要特性

• 韩国中心AI模型：Mi:dm 2.0是使用KT专有技术开发的“以韩国为中心的AI”模型，深入内化了韩国社会独特的价值观、认知框架和常识推理，能更好地理解和反映韩国社会的社会文化规范和价值观。
• 多版本发布：提供Mi:dm 2.0 Base和Mi:dm 2.0 Mini两个版本，分别适用于不同的应用场景，满足多样化的需求。
• 量化优化：采用新的量化方法，选择性地提高关键层的精度，在一定程度上改善了模型在低比特深度下的性能。

📦 安装指南

本地运行

我们提供了使用llama.cpp、LM Studio和Ollama在本地运行Mi:dm 2.0的详细说明。更多信息请查看我们的 GitHub。

部署

使用 vLLM (>=0.8.0) 以OpenAI兼容的API来服务Mi:dm 2.0：

vllm serve K-intelligence/Midm-2.0-Base-Instruct

💻 使用示例

在Friendli.AI上运行

你可以通过Friendli.AI立即试用我们的模型。只需点击Deploy，然后点击Friendli Endpoints。

⚠️ 重要提示

请注意，在进行第五次聊天交互后，需要登录Friendli.AI。

在本地机器上运行

我们提供了使用llama.cpp、LM Studio和Ollama在本地机器上运行Mi:dm 2.0的详细说明。更多信息请查看我们的 GitHub。

📚 详细文档

模型生成细节

该模型使用 llama.cpp 在提交版本 21c02174 时生成。

量化超越IMatrix

我一直在试验一种新的量化方法，该方法选择性地提高关键层的精度，超越了默认IMatrix配置提供的精度。在我的测试中，标准IMatrix量化在低比特深度下表现不佳，尤其是对于专家混合（MoE）模型。为了解决这个问题，我使用llama.cpp中的--tensor-type选项手动将重要层的精度提高。你可以在以下链接查看实现： 👉 使用llama.cpp进行层提升

虽然这确实会增加模型文件的大小，但它显著提高了给定量化级别的精度。

评估

韩语评估

* 表示KT专有的评估资源。

英语评估

教程

为了帮助我们的最终用户轻松使用Mi:dm 2.0，我们在 GitHub 上提供了全面的教程。

🔧 技术细节

量化方法

使用新的量化方法，通过llama.cpp中的--tensor-type选项手动提高关键层的精度，以改善模型在低比特深度下的性能。

模型版本

• Mi:dm 2.0 Base：一个115亿参数的密集模型，旨在平衡模型大小和性能。它通过应用深度扩展（DuS）方法扩展了一个80亿规模的模型，适用于需要性能和通用性的实际应用。
• Mi:dm 2.0 Mini：一个轻量级的23亿参数密集模型，针对设备端环境和GPU资源有限的系统进行了优化。它通过剪枝和蒸馏从基础模型派生而来，以实现紧凑的部署。

📄 许可证

Mi:dm 2.0根据 MIT许可证 授权。

联系信息

Mi:dm 2.0技术咨询：midm-llm@kt.com

限制

• 语言限制：两个Mi:dm 2.0模型的训练数据主要由英语和韩语组成，不保证对其他语言的理解和生成能力。
• 专业领域限制：该模型不保证在需要专业知识的领域（如法律、医学或金融）提供可靠的建议。
• 内容准确性：尽管研究人员努力从训练数据中排除不道德的内容，但模型仍可能产生不适当的表达或事实不准确的内容。

🚀 如果你觉得这些模型有用

帮助我测试我的 AI驱动的量子网络监控助手 进行 量子就绪安全检查： 👉 量子网络监控

量子网络监控服务的完整开源代码可在我的GitHub仓库（名称中包含NetworkMonitor的仓库）中找到：量子网络监控源代码。如果你想自己进行量化，还可以找到我用于量化模型的代码 GGUFModelBuilder。

💬 如何测试： 选择一个 AI助手类型：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginface开源模型)
• TestLLM (仅实验性CPU)

我正在测试的内容

我正在挑战小型开源模型在AI网络监控方面的极限，具体包括：

• 针对实时网络服务的 函数调用
• 模型可以多小 同时仍能处理：
  • 自动 Nmap安全扫描
  • 量子就绪检查
  • 网络监控任务

🟡 TestLLM – 当前的实验模型（在Hugging Face Docker空间的2个CPU线程上运行llama.cpp）：

• ✅ 零配置设置
• ⏳ 30秒加载时间（推理速度慢，但 无API成本）。由于成本低，没有令牌限制。
• 🔧 寻求帮助！ 如果你对 边缘设备AI 感兴趣，让我们合作。