🚀 Mi:dm 2.0

Mi:dm 2.0 是采用 KT 专有技术开发的“以韩国为中心的 AI”模型。该模型深度内化了韩国社会独特的价值观、认知框架和常识推理，不仅仅是处理或生成韩语，更体现了对韩国社会社会文化规范和价值观的深刻理解。

🌟 Mi:dm 2.0 模型 | 📄 Mi:dm 2.0 技术报告 | 📝 Mi:dm 2.0 技术博客*

_{*即将发布}

🚀 快速开始

新闻动态

• ⏱️ （即将推出！）GGUF 格式的模型文件即将推出，以便更轻松地进行本地部署。
• 📅 2025/07/04：在 Hugging Face 上发布了 Mi:dm 2.0 模型集合。

目录

• 概述
  • Mi:dm 2.0
  • 快速入门
  • 评估
• 使用方法
  • 在 Friendli.AI 上运行
  • 在本地机器上运行
  • 部署
  • 教程
• 更多信息
  • 局限性
  • 许可证
  • 联系我们

Mi:dm 2.0 简介

Mi:dm 2.0 有两个版本发布：

• Mi:dm 2.0 Base：一个具有 115 亿参数的密集模型，旨在平衡模型大小和性能。它通过应用深度扩展（DuS）方法扩展了 80 亿规模的模型，适用于需要高性能和多功能的实际应用场景。
• Mi:dm 2.0 Mini：一个轻量级的 23 亿参数密集模型，针对设备端环境和 GPU 资源有限的系统进行了优化。它是通过对基础模型进行剪枝和蒸馏得到的，能够实现紧凑部署。

⚠️ 重要提示

预训练和后训练数据均不包含 KT 用户数据。

快速入门代码示例

以下是使用该模型进行对话推理的代码片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Base-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformers 库的版本应在 4.45.0 或更高。

📊 评估

韩语评估

* 表示 KT 专有评估资源。

英语评估

💻 使用示例

在 Friendli.AI 上运行

你可以通过 Friendli.AI 立即试用我们的模型。只需点击 Deploy 然后点击 Friendli Endpoints。

⚠️ 重要提示

请注意，在进行第五次聊天交互后，需要登录 Friendli.AI。

在本地机器上运行

我们提供了使用 llama.cpp、LM Studio 和 Ollama 在本地机器上运行 Mi:dm 2.0 的详细说明。更多信息请查看我们的 GitHub。

部署

要使用 vLLM(>=0.8.0) 以 OpenAI 兼容的 API 服务 Mi:dm 2.0，请运行以下命令：

vllm serve K-intelligence/Midm-2.0-Base-Instruct

教程

为了帮助最终用户轻松使用 Mi:dm 2.0，我们在 GitHub 上提供了全面的教程。

📚 详细文档

局限性

• 两个 Mi:dm 2.0 模型的训练数据主要由英语和韩语组成，不保证对其他语言的理解和生成能力。
• 该模型不能保证在需要专业知识的领域（如法律、医学或金融）提供可靠的建议。
• 研究人员已努力从训练数据中排除不道德的内容，如脏话、诋毁性语言、偏见和歧视性语言。然而，尽管做出了这些努力，模型仍可能产生不适当的表达或事实性错误。

许可证

Mi:dm 2.0 采用 MIT 许可证。

联系我们

Mi:dm 2.0 技术咨询：midm-llm@kt.com