许可证：Apache-2.0
流水线标签：文本生成
库名称：transformers
标签：

• 文本生成推理
• 数学
• 代码
• trl
  语言：
• 英文
  基础模型：
• prithivMLmods/Epimetheus-14B-Axo

Theta-Lyrae-Qwen-14B

Theta-Lyrae-Qwen-14B基于Qwen 2.5 14B模态架构设计，旨在增强140亿参数模型的推理能力。该模型针对通用推理和问答进行了优化，在上下文理解、逻辑推理和多步骤问题解决方面表现出色。通过长链思维推理模型和专用数据集的微调，提升了其理解能力、结构化响应和对话智能。

关键改进

1. 增强的通用知识：模型覆盖多领域知识，提升准确回答问题及生成连贯响应的能力。
2. 改进的指令遵循：显著提升对复杂指令的理解与执行能力，生成结构化响应并保持长对话一致性。
3. 多样化适应力：对多样化提示更具韧性，可处理开放式与结构化提问等广泛话题。
4. 长上下文支持：支持128K令牌的输入上下文，单次输出可达8K令牌，适合生成详细回答。

transformers快速入门

以下代码片段展示如何使用apply_chat_template加载分词器与模型并生成内容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Theta-Lyrae-Qwen-14B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "通用AI的核心原则是什么？"
messages = [
    {"role": "system", "content": "你是一个能回答广泛问题的助手。"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

预期用途

1. 通用推理：适用于逻辑推理、多样化问答及常识问题解决。
2. 教育信息辅助：为学生、教育者及普通用户提供解释、摘要和研究型回答。
3. 对话AI与聊天机器人：适合构建需上下文理解和动态响应生成的智能对话代理。
4. 多语言应用：支持全球通信、翻译及多语言内容生成。
5. 结构化数据处理：可分析生成表格、JSON等结构化输出，适用于数据科学与自动化。
6. 长文本生成：能生成文章、报告等长篇内容并保持连贯性。

局限性

1. 硬件要求：因参数量大且支持长上下文，需高内存GPU/TPU。
2. 潜在响应偏见：虽设计为中立，输出仍可能反映训练数据中的偏见。
3. 创意任务波动：在故事创作等主观性任务中可能表现不稳定。
4. 实时信息缺失：无法获取训练截止后的实时事件。
5. 长文本错误传播：早期响应中的小错误可能影响长篇输出的整体连贯性。
6. 提示敏感性：响应效果可能依赖于输入提示的结构质量。