license: other license_name: kyro license_link: LICENSE.md base_model:

• Qwen/Qwen2.5-7B-Instruct tags:
• reasoning
• kyro
• open-neo
• open-source
• deepseek-r1 language:
• en
• zh
• fr
• es
• pt
• de
• it
• ru
• ja
• ko
• vi
• th
• ar
• fa
• he
• tr
• cs
• pl
• hi
• bn
• ur
• id
• ms
• lo
• my
• ceb
• km
• tl
• nl library_name: transformers

Kyro-n1.1：更智能、更精准、更强大

Kyro-n1.1是Kyro-n1的增强版本，旨在提供更卓越的推理能力、更深入的理解能力以及更精准的响应。基于Qwen2.5-7B-Instruct构建，该模型通过先进的微调技术优化了其分析复杂查询、生成结构化回答以及参与更细致对话的能力。

相较于Kyro-n1的关键改进

• 增强的推理能力：Kyro-n1.1展现出更强的逻辑思维，使其在需要深度分析的任务中更加可靠。
• 更精准的回答：通过优化数据集筛选和改进微调方法，确保了更高的事实一致性。
• 更广泛的情境理解：改进的情境记忆能力使Kyro-n1.1在多轮对话中表现更加连贯。
• 为开源协作优化：作为Open-Neo计划的一部分，Kyro-n1.1旨在成为一个透明、易获取且由社区驱动的模型。

为什么选择Kyro-n1.1？

• 研究与开发的理想选择：无论您是探索AI推理基准还是优化自己的项目，Kyro-n1.1都能提供卓越的性能。
• 适用于多种场景：从通用问答到编程辅助和创意写作，该模型能够灵活适应不同应用场景。
• 高效且可扩展：设计上注重计算效率，Kyro-n1.1在保持合理资源需求的同时提供强劲性能。
• 完全开源：作为Open-Neo生态系统的一部分，Kyro-n1.1可自由修改并集成到各种工作流程中。

技术规格

• 开发团队：Spestly (Open-Neo)、Kazex (Open-Neo) 和 Adversing (Open-Neo)
• 类型：因果语言模型
• 训练阶段：预训练与后训练
• 架构：采用RoPE、SwiGLU、RMSNorm及Attention QKV偏置的transformers
• 参数量：7.61B
• 非嵌入参数量：6.53B
• 层数：28
• 注意力头数（GQA）：Q为28，KV为4
• 上下文长度：完整131,072 tokens，生成8192 tokens

使用方法

Kyro-n1.1（Qwen2.5）的代码已集成至最新版Hugging Face transformers，建议使用最新版本。

若使用transformers<4.37.0，将遇到以下错误：

KeyError: 'qwen2'

快速入门

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "open-neo/Kyro-n1.1-7B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "你对CRISPR及其对人类未来的影响有何看法？"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=2048
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

引用

如果您觉得我们的工作有帮助，欢迎引用。

@misc{qwen2.5,
    title = {Qwen2.5: 基础模型的盛宴},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen团队},
    month = {9月},
    year = {2024}
}
@article{qwen2,
      title={Qwen2技术报告}, 
      author={杨安、杨宝松、惠彬源、郑博、于博文、周畅、李成鹏、李成源、刘大一恒、黄飞、董冠廷、魏浩然、林欢、唐家隆、王家林、杨健、涂建宏、张建伟、马建新、徐进、周靖仁、白金泽、何金正、林俊阳、党凯、卢克明、陈克勤、杨可欣、李梅、薛明峰、倪娜、张培、王鹏、彭茹、门锐、高瑞泽、林润基、王世杰、白帅、谭思南、朱天航、李天昊、刘天宇、葛文彬、邓晓东、周晓欢、任兴章、张新宇、魏西频、任宣成、范阳、姚阳、张一畅、万宇、褚云飞、刘雨琼、崔泽宇、张振如、范志豪},
      journal={arXiv预印本 arXiv:2407.10671},
      year={2024}
}
@misc{kyro-n1.1,
      title={Kyro-n1.1：更智能、更精准、更强大}, 
      author={Open-Neo},
      howpublished={https://huggingface.co/collections/open-neo/kyro-n1-67ab2e7bbc76a9aab3030c21},
      year={2025}
}

参与我们

Kyro-n1.1是一个社区驱动的项目，欢迎您的贡献！无论是微调、测试还是提供反馈，您的参与都将助力模型的未来发展。加入Open-Neo社区，与我们一起完善Kyro-n1.1！