Tenrec 数据集
Tenrec 是腾讯在2022年发布的一个大规模推荐系统基准数据集，包含了来自两个信息流推荐平台(文章和视频)的用户行为数据。数据集包括：
- QK-video.csv：QK平台的用户视频行为数据
- QB-video.csv：QB平台的用户视频行为数据
- QK-article.csv：QK平台的用户文章行为数据
- QB-article.csv：QB平台的用户文章行为数据
数据集是我从官方网站下载的，使用前需要接受许可协议。
Tenrec支持10个推荐任务，包括CTR预测、Top-N推荐等，这里我先尝试CTR预测任务。
在这个实验中，我们对比了多个经典的CTR预测模型在Tenrec数据集上的表现。这些模型包括：
- AFM：注意力因子分解机，通过注意力机制对特征交互进行加权
- DCN/DCN-v2：深度交叉网络，通过特殊的交叉层实现特征的高阶组合
- NFM：神经因子分解机，将FM的二阶交互通过神经网络进行非线性变换
- Wide&Deep：结合记忆能力和泛化能力的经典双塔模型
- DIN：深度兴趣网络，通过注意力机制建模用户的动态兴趣
- DeepFM：将FM和深度学习模型进行端到端的联合训练
- xDeepFM：通过显式和隐式的特征交叉提升模型表达能力
我们使用AUC和Logloss作为评估指标，同时也关注模型的训练效率。下面是详细的实验结果
最后一轮的训练集数据
| 模型 | AUC | Logloss | 训练时长(s) | 验证集AUC |
|---|---|---|---|---|
| AFM | 0.8174 | 0.4865 | 4497 | 0.7863 |
| DCN | 0.9363 | 0.3014 | 1407 | 0.7155 |
| DCN-v2 | 0.9427 | 0.2860 | 1601 | 0.7125 |
| NFM | 0.8752 | 0.4129 | 1745 | 0.7595 |
| Wide&Deep | 0.9029 | 0.3675 | 1546 | 0.7377 |
| DIN | 0.9197 | 0.3345 | 1569 | 0.7192 |
| DeepFM | 0.9404 | 0.2919 | 2290 | 0.7131 |
| xDeepFM | 0.9731 | 0.1979 | 2832 | 0.7038 |
测试集实验结果
| 模型 | AUC | Logloss |
|---|---|---|
| AFM | 0.7859 | 0.5178 |
| DCN | 0.7156 | 0.8212 |
| DCN-v2 | 0.7123 | 0.8732 |
| NFM | 0.7593 | 0.5782 |
| Wide&Deep | 0.7378 | 0.6679 |
| DIN | 0.7189 | 0.8333 |
| DeepFM | 0.7134 | 0.8293 |
| xDeepFM | 0.7037 | 1.0298 |