Saved Model Git Base

由 holipori 开发

基于microsoft/git-base在图像文件夹数据集上微调的视觉语言模型，主要用于图像描述生成任务

图像生成文本

Transformers

其他

开源协议:MIT #图像描述生成 #多模态模型 #微调优化

下载量 13

发布时间 : 5/22/2023

模型介绍

内容详情

替代品

模型简介

该模型是基于GIT架构的视觉语言模型，经过微调后能够根据输入图像生成相关文本描述。在评估中表现出良好的文本生成能力。

模型特点

多模态理解能力

能够同时处理视觉和语言信息，理解图像内容并生成相关描述

微调优化

在特定图像数据集上进行微调，提升了在目标领域的表现

评估指标全面

使用多种文本生成评估指标(Rouge, Bleu, Meteor等)进行综合评估

模型能力

图像理解

文本生成

多模态处理

图像描述生成

使用案例

辅助技术

视觉辅助描述

为视障人士生成图像内容的文字描述

内容创作

社交媒体内容生成

自动为上传的图片生成描述文字

许可证: mit 标签:

训练生成数据集:
图像文件夹评估指标:
rouge
bleu 模型索引:
名称: saved_model_git-base 结果:
- 任务: 名称: 因果语言建模类型: 文本生成数据集: 名称: 图像文件夹类型: 图像文件夹配置: 默认拆分: 训练参数: 默认评估指标:
  - 名称: Rouge1 类型: rouge 值: 0.3058988098589094
  - 名称: Bleu 类型: bleu 值: 0.10580263597345552

saved_model_git-base

该模型是基于microsoft/git-base在图像文件夹数据集上微调的版本。在评估集上取得了如下结果:

损失: 0.2473
错误率评分: 2.7325
Rouge1: 0.3059
Rouge2: 0.1738
Rougel: 0.2760
Rougelsum: 0.2759
Meteor: 0.4991
Bleu: 0.1058
Bleu1: 0.2113
Bleu2: 0.1272
Bleu3: 0.0824
Bleu4: 0.0566

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

学习率: 5e-05
训练批次大小: 112
评估批次大小: 112
随机种子: 42
梯度累积步数: 2
总训练批次大小: 224
优化器: Adam，参数beta=(0.9,0.999)，epsilon=1e-08
学习率调度器类型: 线性
训练轮数: 30
混合精度训练: 原生AMP

训练结果

训练损失	轮次	步数	验证损失	错误率评分	Rouge1	Rouge2	Rougel	Rougelsum	Meteor	Bleu	Bleu1	Bleu2	Bleu3	Bleu4
0.774	1.7	1000	0.2771	3.5978	0.2206	0.1145	0.1981	0.1981	0.4163	0.0774	0.1712	0.0965	0.0580	0.0375
0.2763	3.4	2000	0.2537	3.6165	0.2273	0.1237	0.2050	0.2050	0.4374	0.0840	0.1757	0.1032	0.0642	0.0428
0.2567	5.11	3000	0.2423	3.5963	0.2317	0.1299	0.2105	0.2105	0.4500	0.0881	0.1790	0.1074	0.0681	0.0460
0.2447	6.81	4000	0.2349	3.5915	0.2352	0.1336	0.2136	0.2136	0.4573	0.0907	0.1812	0.1100	0.0706	0.0481
0.2357	8.51	5000	0.2297	3.5867	0.2364	0.1364	0.2158	0.2158	0.4617	0.0927	0.1820	0.1120	0.0726	0.0499
0.2287	10.21	6000	0.2258	3.5781	0.2393	0.1392	0.2183	0.2183	0.4681	0.0947	0.1837	0.1139	0.0745	0.0515
0.2228	11.91	7000	0.2223	3.5628	0.2413	0.1419	0.2208	0.2208	0.4734	0.0965	0.1853	0.1158	0.0762	0.0531
0.2173	13.62	8000	0.2200	3.5171	0.2459	0.1452	0.2249	0.2249	0.4779	0.0976	0.1860	0.1167	0.0773	0.0540
0.2132	15.32	9000	0.2184	3.5207	0.2461	0.1464	0.2253	0.2254	0.4804	0.0994	0.1885	0.1187	0.0789	0.0553
0.2085	17.02	10000	0.2174	3.5189	0.2484	0.1468	0.2259	0.2259	0.4842	0.0998	0.1895	0.1190	0.0791	0.0555
0.2027	18.72	11000	0.2179	3.2891	0.2656	0.1571	0.2411	0.2411	0.4952	0.1036	0.1970	0.1233	0.0820	0.0577
0.1961	20.43	12000	0.2213	3.3457	0.2610	0.1534	0.2367	0.2367	0.4900	0.1025	0.1962	0.1223	0.0810	0.0568
0.1886	22.13	13000	0.2260	2.9878	0.2914	0.1696	0.2628	0.2628	0.5028	0.1053	0.2040	0.1257	0.0828	0.0579
0.1797	23.83	14000	0.2305	3.0250	0.2874	0.1668	0.2597	0.2597	0.4987	0.1053	0.2051	0.1259	0.0827	0.0575
0.1713	25.53	15000	0.2376	2.7048	0.3125	0.1797	0.2822	0.2822	0.5062	0.1078	0.2125	0.1291	0.0843	0.0583
0.1646	27.23	16000	0.2438	2.7129	0.3087	0.1761	0.2786	0.2785	0.5021	0.1066	0.2120	0.1281	0.0831	0.0573
0.159	28.94	17000	0.2473	2.7325	0.3059	0.1738	0.2760	0.2759	0.4991	0.1058	0.2113	0.1272	0.0824	0.0566