前一阵子在研究glmnet的时候还看见了ADMM，好像也很厉害，就顺便也看了看。ADMM是Boyd大爹提出的一种适用分布式的求解带约束问题最优化的方法，ADMM，alternating direction method of multipliers。 这里说一下Boyd大爹，这位爹也是一个了不得的爹，凸优化的泰斗人物，大部分人都是读他的Convex Optimization入门的，而且不像Frie ...

GAN笔记 为了不被时代所抛弃，最近准备开始好好学一下深度学习的内容，主要针对CV方面，NLP先缓一缓，我还是会站在统计ML的角度来看DL的，今天先来总结一下最优美的GAN。 首先明确GAN是什么，GAN是一种生成模型。讲到这里先说一下生成模型和判别模型，这两个模型最大的区别就是在于求解方式不同，一个是求解\(P(X,Y)\) 联合概率，另一个是求\(P(Y|X)\) 条件概率。就拿之前很火的VA ...

这篇文章是KDD2017的一篇文章，最近的Qcon上Airbnb还有人演讲这篇论文，这篇论文的主要思想就是用tables来代替tree的存储结构，进而达到提升效率的目的，据说可以达到1.5到6倍速度的提升。 模型的具体做法就是用table结构存储，主要有以下： features，对数据进行划分时，存储一次判断的特征 cuts，对数据划分时，村粗判断的值 结果表，是一个二进制表，存储判断结果 pr ...

这次来回顾一下另一个经典模型，Factorization Machine。 Factorization Machine 模型形式如下 \[ \hat{y}(x)=w_0+\sum^n_{i=1}w_ix_i+\sum^n_{i=1}\sum^n_{j=i+1}\langle v_i,v_j\rangle x_ix_j \] 包括对一阶和二阶特征的考虑，这样做是因为我们可以证明对于足够大的\(k\) ...

今天有点累了，记一篇之前看过的论文吧。Deep Content-based Music Recommendation这篇文章是发在13年的nips上，当年挺经典的一篇文章，后来很多music recommendation都是顺着他们的思路来的。 文中分享了一个在推荐中很重要的点，semantic gap，就是说你能抓住拿来用的特征到刻画用户的偏好之间，会存在一个gap，而这个gap则是极难跨越的。 ...

这篇应该是最早的DL做CTR的文章了，好像是KDD2016的best，微软出品。 现在看这篇文章有点普通，但在当时应该还是挺应景的，做的是15年火的embedding和16年火的residual network的结合。模型结构如图所示 1 本篇论文突出的特点应该是不用人工设计feature，在当时应该也是一个break。 文章后面重点写了embedding和stacking策略以及resid ...

今天这篇是阿里的一篇文章，几个实习生做的，主要解决的是图片广告的推荐问题。这篇论文主要有以下几点： 用DNN模型解决推荐问题，并没有直接采用高维稀疏特征和图片直接作为输入，仍做到了end to end的训练； 可以高效处理高维海量数据； 在真实海量数据上进行实验，并取得了较好的结果； 下面来看模型，用户对一个广告的行为被称为一次impression，用\(x\) 表示，图片\(u\) 的尺寸为 ...

昨天看的有点多了，今天少看点，然后看点别的内容缓解一下，刚好今天看到了这篇是attention模型+FM，所以今天打算再去看看attention。 回归正题，这篇文章主要思路是在FM的二阶特征上加attention layer \[ f_{\text{Att}}(f_{\text{PI}}(\mathcal{E}))=\sum_{(i,j)\in\mathcal{R}_x}a_{ij}(v_i\ ...

再来看一篇。。有点累了都。。这篇文章是一篇FM和DL的结合，2017年的文章，这篇文章读起来就给人感觉比较符合当前的主流想法了。 模型的主要结构如下图所示 1 与谷歌之前wide & deep的model不同的是，DeepFM的输入层共享同样的embedding，模型也分为两部分，FM和Deep。 FM部分的结构如下图所示 2 就是一个FM模型 \[ y_{\text{FM}} ...

这篇文章发于2016年1月，也是很早期的DL做CTR的文章，感觉这几篇文章看的时候没注意顺序，看的时候经常觉得蹦出来的是比较烂大街和过时的想法。。 文中提出来的第一个模型是FNN 1 上面几层都很正常，最底下是一个FM层，就是比较经典的一个FM模型作为输入过激活函数 \[ y_{\text{FM}}=\text{sigmoid}( w_0+\sum^n_{i=1}w_ix_i+\sum^n_ ...