Product-based Neural Networks for User Response Prediction

这篇文章是比较早期的一篇用DNN做CTR的文章,2016年的,思路比较清晰,也很简洁,就是用embedding去学习数据类别的表示,然后用全连接层学习高阶的特征交互,模型结构如下图所示

1

其中第一层除了包含一阶信息外,还有二次项一并带入激活函数,可以看出,作者对每个类别进行不同的embedding,这样可以最大程度上抓住每个类别的特点,然后还有inner-PNN和outer-PNN两种方式,具体可以看论文。缺点也很明显,从图中可以看出,网络不是很深,说学习high-order的feature interactions也是有一定局限性的,同时我看见最后实验部分,感觉数据量可能会有点小,实验结果有一定局限性。