库名称: transformers
流水线标签: 文本生成
许可证: 其他
许可证名称: llama3
许可证链接: LICENSE
支持语言:

• 韩语
• 英语
  标签:
• meta
• llama
• llama-3
• akallama
  库名称: transformers

推理支持: 不支持

AKALLAMA

AkaLlama是一系列专为多任务实际应用设计的韩语大模型。初始版本AkaLlama-v0.1是基于Meta-Llama-3-70b-Instruct微调的模型，训练数据来自MIR实验室精选的公开数据集混合。我们的目标是探索高性能大语言模型在特定场景（如韩语等语言或组织专用聊天机器人领域）的经济适用方案。

详情请访问项目主页。

模型描述

这是托管在Hub上的GGUF格式模型卡。

• 开发团队: 延世大学MIR实验室
• 支持语言: 韩语、英语
• 许可证: llama3
• 微调基础模型: meta-llama/Meta-Llama-3-70B-Instruct
• 量化源模型: mirlab/AkaLlama-llama3-70b-v0.1

关于GGUF

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代已停止支持的GGML格式。

以下是部分支持GGUF的客户端和库：

• llama.cpp - GGUF的源项目，提供CLI和服务端选项
• text-generation-webui - 功能强大的主流Web UI，支持GPU加速
• KoboldCpp - 全平台GPU加速的Web UI，特别适合故事创作
• GPT4All - 跨平台的免费本地GUI，支持GPU加速
• LM Studio - 易用的Windows/macOS本地GUI（截至2023/11/27 Linux处于测试阶段）
• LoLLMS Web UI - 内置丰富模型库的特色Web UI
• Faraday.dev - 支持Windows/macOS的角色聊天GUI
• llama-cpp-python - 支持GPU加速和LangChain的Python库
• candle - 注重性能的Rust ML框架
• ctransformers - 注意：截至2023/11/27该库已长期未更新

使用指南

本仓库提供AkaLlama-70B-v0.1的gguf权重文件。

通过llama.cpp.python使用

from llama_cpp import Llama

# 设置GPU加速层数（无GPU设为0）
llm = Llama(
  model_path="./AkaLlama-llama3-70b-v0.1.Q4_K_M.gguf",  # 需先下载模型文件
  n_ctx=8192,  # 最大序列长度（更长序列需更多资源）
  n_threads=8,            # CPU线程数
  n_gpu_layers=81         # GPU加速层数
)

# 简单推理示例
output = llm(
  """<|begin_of_text|><|start_header_id|>system<|end_header_id|>

你是延世大学多模态实验室(MIR lab)开发的大语言模型AkaLlama。
请遵循以下准则：
1. 用户未特别要求时始终使用韩语交流
2. 禁止包含有害/非伦理/歧视/危险/违法内容
3. 对不合逻辑的问题需解释原因而非直接回答
4. 在安全伦理范围内提供全面回答<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

""",
  max_tokens=512,  # 最多生成512个token
  stop=["<|eot_id|>", "<|end_of_text|>"],   # 停止标记
  echo=True        # 是否回显提示词
)

# 聊天补全API
llm = Llama(model_path="./AkaLlama-llama3-70b-v0.1.Q4_K_M.gguf", chat_format="llama-3")
llm.create_chat_completion(
    messages = [
        {"role": "system", "content": """（同上系统提示）"""},
        {
            "role": "user",
            "content": "你叫什么名字？"
        }
    ]
)
# 预期回复：我是AkaLlama！作为语言模型，我能协助对话、提供创意并解决问题...

兼容性

这些GGUFv2量化文件兼容2023年8月27日后的llama.cpp（commit d0cee0d起），同时支持README顶部列出的第三方工具。

量化方法说明

文件列表

注： 内存需求假设未启用GPU卸载。若启用GPU加速将减少内存占用并增加显存使用。

Q6_K和Q8_0文件需合并

由于HuggingFace不支持50GB以上文件，这些量化文件已分卷存储：

q6_K
需下载：

• AkaLlama-llama3-70b-v0.1.Q6_K.00001-of-00002.gguf
• AkaLlama-llama3-70b-v0.1.Q6_K.00002-of-00002.gguf

合并命令：

cat AkaLlama-llama3-70b-v0.1.Q6_K.*-of-00002.gguf > AkaLlama-llama3-70b-v0.1.Q6_K.gguf

Windows用户使用COPY /B命令合并。

评估结果

*3次随机种子均值

训练详情

训练流程

采用Odds Ratio Preference Optimization (ORPO)偏好学习对齐算法，训练流程与HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1基本一致。详见Huggingface的alignment handbook。

训练数据

训练数据细节将后续公布。

示例演示

基础问答

用户：你能做什么？  
模型：我是AI语言模型AkaLlama，能生成多样化文本、回答问题、进行对话和创意写作，也可按指定主题编辑内容。

用户：将5打铅笔和45块橡皮平分给学生，最多可分几人？  
模型：  
1. 铅笔总数：5打=60支 → 可分60人  
2. 橡皮总数：45块 → 可分45人  
3. 最大公约数(GCD)为15  
结论：每位学生分得4支铅笔+3块橡皮，最多可分15人

用户：解读尹东柱《数星星的夜》的时代背景  
模型：  
该诗创作于1941年日据时期，通过星空意象表达民族认同：  
- "刻入星星"象征文化记忆的保存  
- "母亲在北方"暗示离散之痛  
- "名字埋入土"反映身份压抑  
- "春草萌发"寄托复兴希望  

更多示例见项目主页

风险提示

尽管AKALlama-70B具有潜力，但其响应可能存在不准确/偏见/错位风险，需经充分测试方可使用。模型输出质量高度依赖系统提示和解码策略，不当设置可能导致质量下降。

引用

@misc{akallama,
  author = {郑智元等},
  title = {AkaLlama：延世大学大语言模型项目},
  year = {2024},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/mirlab/AkaLlama-llama3-70b-v0.1}},
}

联系方式

欢迎反馈与合作！

核心成员

• YoungJaeYu
• 延世大学MIR实验室

特别致谢

• 延世大学人工智能数据中心提供算力支持

声明

• 标题图像由DALL·E 3生成