library_name: transformers tags:

• 曼巴模型
• 深度求索
• 推理能力 base_model:
• tiiuae/Falcon3-Mamba-7B-Instruct pipeline_tag: 文本生成

Falcon3-Mamba-R1-v0

模型详情

模型描述：

本模型是基于Falcon3-Mamba-7B-Instruct进行微调的版本，专为在生成响应前进行逻辑推理和结构化问题解决而优化。

它采用曼巴架构，其计算量随token数量线性增长，在保持高质量响应的同时实现了高效快速的推理能力。

此微调版本来自训练流程的早期检查点。

• 开发者： 汉兹拉·贾维德
• 基础模型： tiiuae/Falcon3-Mamba-7B-Instruct
• 模型类型： 基于曼巴架构的因果解码器
• 发布日期： 2025年3月

使用场景

直接应用：

本模型适用于：

• 重推理任务（数学、逻辑与结构化问题求解）
• 基于STEM领域的问答系统
• 通用文本生成

下游应用：

• 针对特定领域（如金融、法律、医学、科研）的微调
• 集成到需要高级推理能力的聊天机器人及虚拟助手中
• 增强具有结构化逻辑构建能力的自动编程助手

非适用场景：

• 错误信息或欺骗性应用
• 高风险领域的自动决策（如无人工监督的医疗诊断）
• 公平性要求严格但未明确控制的偏敏感应用

偏见与限制

已知偏见：

• 模型优先处理英语数据，多语言任务表现可能较弱
• 微调可能放大训练数据中的偏见（尤其在伦理、政治和文化观点方面）

技术限制：

• 生成内容超过64K token时性能可能下降

使用建议：

• 关键应用中应验证输出准确性
• 生产环境部署时需定期进行偏见评估

快速开始

使用transformers加载模型：

repo_name = "hanzla/Falcon3-Mamba-R1-v0"
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained(repo_name)

model = AutoModelForCausalLM.from_pretrained(
    repo_name,
    device_map="auto",
    torch_dtype=torch.float16,
)

def generate_text(prompt,generation_model,generation_tokenizer,max_tokens=1024):
    messages = [
        {"role": "system", "content": "你是有帮助的助手"},
        {"role": "user", "content": prompt},
    ]
    input_text = generation_tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    print(input_text)
    input_ids = generation_tokenizer(input_text, return_tensors="pt").input_ids.to("auto")
    outputs = generation_model.generate(input_ids, max_new_tokens=max_tokens)
    generated_tokens = outputs[0][len(input_ids[0]):] 
    return tokenizer.decode(generated_tokens, skip_special_tokens=True)
    

训练详情

训练流程：

• 预训练基础模型： Falcon3-Mamba-7B-Instruct
• 微调数据： 来自open-thoughts/OpenThoughts-114k的STEM问题子集
• 训练策略： GRPO
• 超参数设置：
  • 批大小： 4
  • 训练轮次： 3
  • 精度： 混合精度（fp16/bf16）
  • 硬件： 2块H100 GPU

评估结果

测试数据与指标：

通过多维度基准测试评估微调模型的推理能力和综合表现，下表展示微调模型与基础模型的对比：

技术规格

模型架构：

• 曼巴模块： 64个
• 隐藏层维度： 4096

软件要求：

• transformers >= 4.38
• torch >= 2.1
• accelerate >= 0.25
• mamba-ssm
• causal-conv1d>=1.4.0