🚀 代码T5小模型 - 为Python生成精简文档字符串

本模型旨在解决为Python函数生成文档字符串的问题，它基于预训练模型微调而来，能高效准确地根据输入的函数生成对应的文档字符串，为代码的理解和维护提供了极大的便利。

🚀 快速开始

本模型是 Salesforce/codet5-small 在特定数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：2.1444
• Rouge1：0.3828
• Rouge2：0.2214
• Rougel：0.3583
• Rougelsum：0.3661
• 生成长度：12.6656

✨ 主要特性

• 功能明确：该模型经过训练，能够根据输入的函数预测其对应的文档字符串（输出）。
• 训练优化：为了加快在消费级硬件上的训练速度，对一些较长的样本进行了修剪。

📚 详细文档

模型描述

此模型用于预测函数（输入）的文档字符串（输出）。有关其创建方式的更多信息，请查看以下链接：https://github.com/DunnBC22/NLP_Projects/blob/main/Generate%20Docstrings/Smol%20Dataset/Code_T5_Project-Small%20Checkpoint.ipynb

预期用途和限制

该模型旨在展示使用技术解决复杂问题的能力。

训练和评估数据

数据集来源：calum/the-stack-smol-python-docstrings（来自Hugging Face数据集；https://huggingface.co/datasets/calum/the-stack-smol-python-docstrings）

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：2e - 05
• 训练批次大小：16
• 评估批次大小：16
• 随机种子：42
• 优化器：Adam，其中betas = (0.9, 0.999)，epsilon = 1e - 08
• 学习率调度器类型：线性
• 训练轮数：4

训练结果

框架版本

• Transformers 4.26.1
• Pytorch 1.12.1
• Datasets 2.9.0
• Tokenizers 0.12.1

📄 许可证

本项目采用Apache 2.0许可证。