许可证：apache-2.0
语言：

• 英文
  基础模型：
• prithivMLmods/Lacerta-Opus-14B-Elite8
  任务标签：文本生成
  库名称：transformers
  标签：
• 文本生成推理
• 数学
• 代码
• trl
• SFT

模型索引：

• 名称：Galactic-Qwen-14B-Exp2
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：IFEval（0-Shot）
    类型：wis-k/instruction-following-eval
    分割：训练集
    参数：
    num_few_shot: 0
    指标：

    • 类型：inst_level_strict_acc 和 prompt_level_strict_acc
      值：66.2
      名称：平均准确率
      来源：
      URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FGalactic-Qwen-14B-Exp2
      名称：Open LLM 排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：BBH（3-Shot）
    类型：SaylorTwift/bbh
    分割：测试集
    参数：
    num_few_shot: 3
    指标：

    • 类型：acc_norm
      值：59.92
      名称：归一化准确率
      来源：
      URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FGalactic-Qwen-14B-Exp2
      名称：Open LLM 排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MATH Lvl 5（4-Shot）
    类型：lighteval/MATH-Hard
    分割：测试集
    参数：
    num_few_shot: 4
    指标：

    • 类型：exact_match
      值：34.74
      名称：精确匹配
      来源：
      URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FGalactic-Qwen-14B-Exp2
      名称：Open LLM 排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GPQA（0-shot）
    类型：Idavidrein/gpqa
    分割：训练集
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：19.91
      名称：归一化准确率
      来源：
      URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FGalactic-Qwen-14B-Exp2
      名称：Open LLM 排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MuSR（0-shot）
    类型：TAUR-Lab/MuSR
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：28.49
      名称：归一化准确率
      来源：
      URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FGalactic-Qwen-14B-Exp2
      名称：Open LLM 排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU-PRO（5-shot）
    类型：TIGER-Lab/MMLU-Pro
    配置：main
    分割：测试集
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：52.12
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FGalactic-Qwen-14B-Exp2
      名称：Open LLM 排行榜

Galactic-Qwen-14B-Exp2

Galactic-Qwen-14B-Exp2 基于 Qwen 2.5 14B 架构设计，旨在增强 14B 参数模型的推理能力。该模型针对通用推理和问答进行了优化，擅长上下文理解、逻辑推理和多步骤问题解决。通过长链思维推理模型和专用数据集的微调，提升了理解能力、结构化响应和对话智能。

主要改进

1. 增强的通用知识：模型提供跨领域的广泛知识，提升准确回答问题和生成连贯响应的能力。
2. 改进的指令遵循：在理解和遵循复杂指令、生成结构化响应以及保持长时间对话连贯性方面有显著提升。
3. 多功能适应性：对多样化提示更具韧性，提升处理广泛话题和对话风格的能力，包括开放式和结构化查询。
4. 长上下文支持：支持高达 128K 令牌的输入上下文，并能生成单次输出达 8K 令牌，适合生成详细响应。
5. 多语言能力：支持超过 29 种语言，包括英语、中文、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

快速开始使用 transformers

以下是一个使用 apply_chat_template 的代码片段，展示如何加载分词器和模型并生成内容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Galactic-Qwen-14B-Exp2"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "通用人工智能的关键原则是什么？"
messages = [
    {"role": "system", "content": "你是一个能够回答广泛问题的有用助手。"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

预期用途

1. 通用推理：
   适用于广泛的逻辑推理、多样化问题解答和通用知识问题解决。

2. 教育和信息辅助：
   适合为学生、教育工作者和普通用户提供解释、摘要和研究性回答。

3. 对话式 AI 和聊天机器人：
   适合构建需要上下文理解和动态响应生成的智能对话代理。

4. 多语言应用：
   支持全球通信、翻译和多语言内容生成。

5. 结构化数据处理：
   能够分析和生成结构化输出，如表格和 JSON，适用于数据科学和自动化。

6. 长文本内容生成：
   可以生成扩展响应，包括文章、报告和指南，保持长文本输出的连贯性。

局限性

1. 硬件要求：
   由于参数规模大且支持长上下文，需要高内存 GPU 或 TPU。

2. 响应中的潜在偏见：
   尽管设计为中立，输出仍可能反映训练数据中的偏见。

3. 创意任务中的不一致输出：
   在故事讲述和高度主观话题中可能产生不稳定的结果。

4. 对现实世界的有限认知：
   无法获取训练截止日期后的实时事件信息。

5. 长文本输出中的错误传播：
   早期响应中的小错误可能影响长文本输出的整体连贯性。

6. 提示敏感性：
   响应的有效性可能取决于输入提示的结构化程度。

Open LLM 排行榜评估结果

详细结果请查看此处！
汇总结果请查看此处！