特征重要度

初稿发表于：2020-06-28

Score Decomposition

对最终分数进行分解，查看NN中每个节点对结果的贡献。

控制变量法，去掉一个特征，观察模型性能变化。

对测试集中的某个特征的值进行随机打乱，观察最后结果的变化，但是由于特征之间并不是完全独立的，所以这种方法也不能很好地评估好的特征，但是可以大致衡量不好的特征（如果对某一特征值进行随机打乱，但是最后结果变化不大，那就说明这个特征不重要）。

对结果进行排序，比较Top的listing id和Bottom的listing id对应特征的取值分布，这个比较就反映了是如何利用这些特征分布的。

DARTS: Differentiable architecture search Liu, H.; Simonyan, K.; and Yang, Y. 2019. DARTS: Differentiable architecture search. In ICLR.

https://zhuanlan.zhihu.com/p/321284287
WOE表示的含义即是"当前分组中响应客户占所有响应客户的比例"和"当前分组中没有响应的客户占所有没有响应客户的比例"的差异。
WOE 和 IV 都能表达某个分组对目标变量的预测能力。但实际中，我们通常选择 IV 而不是 WOE 的和来衡量变量预测的能力，这是为什么呢？首先，因为我们在衡量一个变量的预测能力时，我们所使用的指标值不应该是负数。从这意义上来说，IV 比 WOE 多乘以前面那个因子，就保证了它不会是负数；然后，乘以(Pyi−Pni)这个因子，体现出了变量当前分组中个体的数量占整体的比例，从而很好考虑了这个分组中样本占整体的比例，比例越低，这个分组对变量整体预测能力的贡献越低。相反，如果直接用 WOE 的绝对值加和，会因为该分组出现次数偏少的影响而得到一个很高的指标。