FM - Factorization Machine - 因子分解机

简介

与简单的LR模型相比，FM模型多了特征组合部分，FM主要考虑的是两两之间的特征组合，所对应的二阶多项式公式如下：

$$\hat{y}(x) :=w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^{n-1} \sum_{j=i+1}^n {\langle} {\bf{v}}_i, {\bf{v}}_j {\rangle} {x_i} {x_j}$$

其中w_ij的求解思路是通过矩阵分解的方法，W可以分解为 W = V^TV， V 的第 i 列便是第 i 维特征的隐向量。换句话说，x_i与x_j的交叉项系数就等于x_i对应的隐向量与x_j对应的隐向量的内积，即每个参数 w_ij=⟨v_i, v_j⟩，这就是FM模型的核心思想。隐向量的长度设置为k，则隐向量可以表示为：

$${\bf{v}}_i = (v_{i,1}, v_{i,2}, {\ldots}, v_{i, k})$$

两个隐含量之间的点积可以表示为：

$${\langle} {\bf{v}}_i, {\bf{v}}_j {\rangle} := \sum_{f=1}^k v_{i,f} · v_{j,f}$$

参考

• FM实现