库名称: transformers
许可证: llama3
基础模型: meta-llama/Llama-3.2-1B-Instruct
标签:

• 完整版
• 训练器生成
• 自然语言处理
  模型索引:
• 名称: stratos_unverified_mix_2nodes
  结果: []
  数据集:
• open-thoughts/open-thoughts-114k
• open-thoughts/OpenThoughts-Unverified-173k

逻辑羊驼

逻辑羊驼是由Goppa AI开发的精调语言模型。基于LLaMA的10亿参数基础版本，该模型通过注入知识和逻辑推理能力得到增强。我们的使命是让小型模型更智能——在保持低内存占用和能效的同时，提升推理与问题解决能力，适用于终端设备应用。

模型概述

当语言模型领域普遍追求参数规模时，逻辑羊驼证明了"少即是多"的理念。通过对10亿参数基础模型进行高级逻辑推理技术精调，该模型具备：

• 强化推理：优化的逻辑思维与知识整合能力，提供更精准的情境感知响应
• 高效性：专为终端设备设计，内存与能耗极低
• 透明性：完全开源训练流程与配置文件，体现可复现研究的承诺

作为Goppa AI探索高效智能模型的第一步，逻辑羊驼用实践挑战"越大越好"的固有认知。

模型规格

• 模型类型：基于10亿参数LLaMA的精调小型语言模型(SLM)
• 架构：
  • 隐藏层维度：2048
  • 隐藏层数：16
  • 注意力头数：32
  • 中间层维度：8192
  • 特殊配置：采用定制化ROPE缩放(rope_type: "llama3")
• 分词器：
  • 含丰富特殊标记的自定义分词器(详见special_tokens_map.json与tokenizer_config.json)
• 语言：英语
• 许可证：Llama 3社区许可协议

使用指南

以下示例代码展示如何通过Hugging Face Transformers库调用逻辑羊驼：

from transformers import AutoModelForCausalLM, AutoTokenizer  

# 从仓库加载分词器与模型  
tokenizer = AutoTokenizer.from_pretrained("goppa-ai/Goppa-LogiLlama", trust_remote_code=True)  
model = AutoModelForCausalLM.from_pretrained("goppa-ai/Goppa-LogiLlama", trust_remote_code=True)  

model.to('cuda')  
text = "遇到复杂问题时应该如何处理？"  
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids  
outputs = model.generate(  
    input_ids,  
    max_length=2500,  
    temperature=0.6,  
    top_p=0.9,  
    repetition_penalty=1.2,  
    pad_token_id=tokenizer.eos_token_id  
)  
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())  

配置文件

模型仓库包含确保Hugging Face生态无缝运行的关键配置：

• config.json：模型架构参数，包括隐藏层维度、层数、注意力头数等超参
• generation_config.json：生成参数定义，如温度值、top-p采样和终止标记
• special_tokens_map.json：分词器使用的特殊标记映射表(如文本起止符、填充符)
• tokenizer_config.json：分词器元数据设置，确保与模型词表的一致性

训练详情

通过向10亿参数LLaMA基础模型注入逻辑推理与领域知识，配合精选训练数据和专项技术，我们在不显著增加模型体积的前提下提升了推理任务处理能力。本项目标志着我们对高性能小型模型的探索承诺。

引用

若在研究中使用逻辑羊驼，请引用：

@misc{goppa2025logillama,  
      title={逻辑羊驼：小型语言模型的逻辑推理注入},  
      author={Goppa AI},  
      year={2025},  
      note={https://github.com/GoppaAI/LogiLlama}  
}  

许可协议

逻辑羊驼采用MIT许可证发布。

推理与部署

• 模型大小：10亿参数
• 张量类型：float32 (F32)
• 部署：优化适用于终端设备与资源受限环境。当前支持本地部署，托管推理方案敬请期待。

Goppa AI致力于突破语言模型的效率与智能边界。逻辑羊驼是我们打造"小而强"模型的第一步——既能高效利用资源，又能胜任复杂推理任务。

创新愉快！