标签:

• 摘要生成 小部件:
• 文本: "新文件模式 100644 索引 000000000...892fda21b 二进制文件 /dev/null 与 b/src/plugins/gateway/lib/joscar.jar 存在差异"

用于生成Git提交消息的CodeTrans模型

基于t5基础模型架构的Git提交预训练模型。首次发布于此代码库。该模型针对分词后的Git提交进行训练：在分词后的Git提交上表现最佳。

模型描述

本CodeTrans模型基于t5-base模型，拥有独立的SentencePiece词汇模型。采用单任务训练方式，训练数据为Git提交消息生成数据集。

使用场景与限制

该模型可用于根据Git变更生成提交消息，或针对其他相关任务进行微调。支持未解析和未分词的提交变更，但若输入为分词后的变更，性能表现会更优。

使用方法

通过Transformers的SummarizationPipeline使用本模型生成Git提交消息：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_commit_generation"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_commit_generation", skip_special_tokens=True),
    device=0
)

tokenized_code = "新文件模式 100644 索引 000000000...892fda21b 二进制文件 /dev/null 与 b/src/plugins/gateway/lib/joscar.jar 存在差异"
pipeline([tokenized_code])

可在Colab笔记本中运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

评估结果

针对Git提交消息生成任务，不同模型在各编程语言上的BLEU评分表现如下：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英创建