语言:

• 英语 许可证: Apache-2.0 库名称: transformers 标签:
• 蝾螈 任务类型: 摘要生成

Qwen2-1.5B-Instruct模型基于自建合成数据进行了2轮微调，专用于摘要生成任务

项目详情请访问GitHub: https://github.com/thepowerfuldeez/qwen2_1_5b_summarize

使用方式

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("thepowerfuldeez/Qwen2-1.5B-Summarize", 
                                             bnb_4bit_compute_dtype=torch.bfloat16,
                                             load_in_4bit=True, attn_implementation="flash_attention_2")

text = <待处理文本>
messages = [
    {"role": "system", "content": "你是有帮助的AI助手"},
    {"role": "user", "content": f"为以下文本生成摘要: \n{text}"},
]
input_ids = tokenizer.apply_chat_template(messages, return_tensors='pt')
new_tokens = model.generate(input_ids, max_new_tokens=1024)[0][len(input_ids[0]):]
summary = tokenizer.decode(new_tokens, skip_special_tokens=True)

数据集

训练集见此处

评估指标

BERTScore评分

采用官方bert_score工具包，使用microsoft/deberta-xlarge-mnli模型进行评测。从测试集中抽取32个长文本样本生成摘要，并以Qwen2-72B-Instruct模型生成的参考摘要作为评估基准。