许可证：apache-2.0
语言：

• 英文
  基础模型：
• Qwen/Qwen2.5-0.5B-Instruct
  任务标签：文本生成
  标签：
• 文本转图谱
• 关系抽取
• 命名实体识别
• GRPO
• 强化学习

Text2Graph-R1-Qwen2.5-0.5b

这是DeepSeek R1在文本转图谱信息抽取任务上的复现版本。基于Qwen-2.5-0.5B模型，通过强化学习（GRPO）和监督学习联合训练而成。

使用方法：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Ihor/Text2Graph-R1-Qwen2.5-0.5b"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

text = """在此输入您的文本..."""
prompt = "分析以下文本，识别实体并按照给定指令提取有意义的关系：{}"
messages = [
    {"role": "system", "content": (
                "您是一个经过训练的助手，能够处理任何文本并从中提取命名实体和关系。"
            "您的任务是分析用户提供的文本，识别所有独特且上下文相关的实体，并推断它们之间的有意义关系。"
            "输出标注数据需为JSON格式，结构如下：\n\n"
            """{"entities": [{"type": "实体类型_0", "text": "实体_0", "id": 0}, {"type": "实体类型_1", "text": "实体_1", "id": 1}], "relations": [{"head": "实体_0", "tail": "实体_1", "type": "关系类型_0"}]}"""
    )},
    {"role": "user", "content": prompt.format(text)}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

强化学习

该模型采用分组相对策略优化（GRPO）进行训练，经过超过1000步的单次GRPO迭代。使用了以下奖励函数：

• JSON格式奖励：专门验证格式良好、机器可读的JSON表示，并确保其结构符合预期格式。
• JSON一致性奖励：专门验证模型输出是否为JSON格式。
• F1奖励：通过将提取的实体和关系与真实图谱对比，评估其准确性。

下图展示了不同奖励随时间的变化趋势。如图所示，F1奖励持续增长，而JSON奖励因监督预训练迅速饱和。

引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1：通过强化学习激励大语言模型的推理能力}, 
      author={DeepSeek-AI 及合作者列表},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}