标签:

• 摘要生成 微件:
• 文本: "新文件模式 100644 索引 000000000...892fda21b 二进制文件 /dev/null 与 b/src/plugins/gateway/lib/joscar.jar 存在差异"

用于生成Git提交消息的CodeTrans模型

该模型基于T5-small架构，针对Git提交消息生成任务进行预训练。最初发布于此代码库。本模型在分词后的Git提交数据上训练，对分词后的提交内容处理效果最佳。

模型描述

该CodeTrans模型基于t5-small架构，拥有独立的SentencePiece词汇模型。通过软件工程领域的7个无监督数据集进行迁移学习预训练，随后在Java代码变更的提交消息生成任务上进行微调。

使用场景与限制

本模型可用于生成Git提交变更的说明信息，或针对其他相关任务进行微调。支持处理未解析和未分词的提交变更，但对分词后的变更内容表现更佳。

使用方法

通过Transformers的SummarizationPipeline使用本模型生成提交消息：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "新文件模式 100644 索引 000000000...892fda21b 二进制文件 /dev/null 与 b/src/plugins/gateway/lib/joscar.jar 存在差异"
pipeline([tokenized_code])

可在Colab笔记本中运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

训练过程

迁移学习预训练

使用单个TPU Pod V3-8进行50万步训练，序列长度512（批次大小4096）。模型总参数量约2.2亿，采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

在单个TPU Pod V2-8上进行1万步微调，序列长度512（批次大小256），仅使用包含提交变更的数据集。

评估结果

各模型在不同编程语言的提交消息生成任务中的BLEU得分表现：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英创建