这篇文章是刚中的icml2020，刚好正中最近工作的痛点之一，拿出来写写。这篇文章主要是在写估计CATE时候，所面临的模型选择问题，与之前的思路不同的是，这篇文章通过CATE estimator的表现的排序来选择模型，获得更高准确度、更稳定的模型。 在模型评估和选择上，因果模型相较于一般的机器学习模型会受到更多的挑战，因为无法直接观测到ground truth，所以无法采用诸如mse之类的指标，所 ...

最近uber的一篇关于uplift模型中特征选择的文章。虽然说最近uber的境遇不太好，但是这篇文章的几个作者的工作还是一如既往的扎实，对当前我个人的工作有一定的指导。 本文中作者指出，uplift模型中的特征筛选跟传统ML中的特征筛选并不一样，表现可能会有比较大的差异，因为传统特征筛选的方式更加关注于对于最后结果的影响，但是uplift是没有ground true的，同时对最后结果有显著影响的特 ...

最近也是工作太忙，工作方向上有强化学习相关的探索，就以alpha go做开篇了。

“一阶”和“二阶”指标 “一阶”和“二阶”指标的定义 本节内容仅针对分类与概率预测类问题。 算法实践中，常用的机器学习模型评估指标可以hold住大部分场景，包括常见的准确率，查准率、查全率、AUC等等，但是在最近的实践的场景中，我发现上述指标并不能完全适用于我们的场景。 首先定义一阶指标（此处的“一阶”和“二阶”完全是我的定义，为了方便下面不会加引号。），一阶指标就是常见的准确率、查准率、AUC等 ...

Background 这次讲的是基础的causal tree和causal forest，最近几篇内容会跟因果推断的有关，关于因果的大框架在最近几篇文章中不会详细写，之后会有总结。总得来说做因果和做纯机器学习主要有以下区别： 与纯预测不同，因果推断中并没有真实目标值，ground truth 机器学习往往在实际中表现很好，但却很76有一些统计性质，在因果问题上，我们又比较需要一些良好的统计性质， ...

这次记一个ML里的小概念，bayes model和residual error。 使用算法\(\mathcal{A}\)在数据集\(\mathfrak{L}\)上训练得到模型\(\varphi_\mathfrak{L}\)，定义期望预测误差为 \[ \text{Err}(\mathcal{\varphi}_\mathfrak{L})= \mathbb{E}_{\mathcal{X},\mathca ...

决策树模型和集成方法 这次打算系统梳理树方法和相关集成学习的方法，包括但不限于以下内容（持续更新ing，部分基础内容会长时间pending，预计2020，2021年4月前完成，会整理出一个slides） 树模型基础 树模型总结（ID3，C4.5，CART基础树模型，数据处理、剪枝等基础概念）TODO Boosting基础：A Review for Boosting Boosting树模型高 ...

最近关于ML+OR体系的一点思考 最近又深入实（被）践（蹂躏）了一波ML+OR的工作，有些感悟思考记录一下。先贴一下一个前辈的思考 【2019.Q3】谈工业界常见的ML+OR策略架构 首先是很多场景下的解决方案都可以看作是ML+OR的组合，这个在上面的文章中也已经提到了，包括且不限于最简单的经验预测值+各类规划问题（传统OR场景，强假设+复杂优化）以及各种“高精尖”的预测+简单排序（传统ML场景， ...

kdd 2019 paper notes 文章太多，没法每篇都很详细写，一些看过的会在此处做一些简单的笔记作为记录。 AccuAir: Winning Solution to Air Quality Prediction for KDD Cup 2018 这次是kdd cup比赛空气质量预测第一名的方案。 背景 本次比赛中，空气质量预测主要面临以下问题： 空气污染受影响因素太多，如天气这种自然环 ...