库名称: tf-keras 标签:

• 表格分类
• 变压器模型

TabTransformer结构化数据学习的Keras实现

本仓库包含TabTransformer结构化数据学习的训练模型。全部荣誉归属于：Khalid Salama

空间链接：

模型概述：

• 该训练模型采用基于自注意力机制的Transformer结构，后接多层前馈网络，适用于监督与半监督学习场景。
• 模型输入可同时包含数值型和类别型特征。
• 所有类别特征将被编码为具有相同嵌入维度的向量，经逐点相加后输入到Transformer块堆栈中。
• 经过最后一层Transformer处理后，类别特征的上下文嵌入表示将与原始数值特征拼接，输入到最终的MLP模块。
• 模型末端应用SoftMax函数进行分类。

使用范围与限制：

• 本模型适用于表格数据的监督学习和半监督学习任务。

训练与评估数据：

• 模型训练采用加州大学欧文分校机器学习库提供的美国人口普查收入数据集，任务为预测个人年收入是否超过5万美元（二分类问题）。
• 数据集包含14个输入特征：5个数值型特征和9个类别型特征。

训练流程

训练超参数

训练过程中使用的超参数如下：

• 优化器：'AdamW'
• 学习率：0.001
• 权重衰减：1e-04
• 损失函数：'sparse_categorical_crossentropy'
• beta_1：0.9
• beta_2：0.999
• epsilon：1e-07
• 训练轮次：50
• 批次大小：16
• 训练精度：float32

训练指标

需补充模型训练历史数据

模型结构图