在回归任务中，损失函数用于衡量模型预测值与真实值之间的差异。以下是一些常见的回归任务损失函数：

一、均方误差（Mean Squared Error，MSE）

  1. 定义：

    • 均方误差是最常用的损失函数之一。它计算预测值与真实值之差的平方的平均值。
    • 数学表达式为：$MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y_i})^2$，其中$n$是样本数量，$y_i$是真实值，$\hat{y_i}$是模型的预测值。

  2. 特点：

    • 优点：对较大的误差给予更高的惩罚，使得模型更加注重减少较大的误差。它是可微的，便于使用梯度下降等优化算法进行求解。
    • 缺点：对异常值比较敏感，因为误差是平方的，异常值会对损失值产生较大的影响。

二、平均绝对误差（Mean Absolute Error，MAE）

  1. 定义：

    • 平均绝对误差计算预测值与真实值之差的绝对值的平均值。
    • 数学表达式为：$MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y_i}|$。

  2. 特点：

    • 优点：对异常值相对不那么敏感，因为它只考虑误差的绝对值。在某些情况下，MAE 可能更能反映模型的实际预测性能。
    • 缺点：由于绝对值函数在零点处不可微，可能在一些优化算法中带来一些计算上的复杂性。

三、Huber 损失

  1. 定义：

    • Huber 损失是一种结合了 MSE 和 MAE 优点的损失函数。它在误差较小时使用平方误差，在误差较大时使用线性误差。
    • 数学表达式为：$Huber(y,\hat{y})=$，其中$\delta$是一个超参数，用于控制从平方误差到线性误差的转换点。

  2. 特点：

    • 优点：对异常值的敏感性相对较低，同时在误差较小时也具有较好的光滑性，便于优化算法求解。
    • 缺点：需要调整超参数$\delta$，以适应不同的数据分布和问题。

四、分位数损失（Quantile Loss）

  1. 定义：

    • 分位数损失用于估计条件分位数，适用于需要预测不同分位数下的结果的情况。
    • 对于分位数$\tau$，分位数损失的数学表达式为：$QuantileLoss(y,\hat{y})=\sum_{y_i\geq\hat{y_i}}\tau|y_i-\hat{y_i}|+\sum_{y_i<\hat{y_i}}(1-\tau)|y_i-\hat{y_i}|$。

  2. 特点：

    • 优点：可以捕捉数据的不同分位数信息，提供更全面的预测结果。例如，在金融领域中，可以用于估计收益的上下界。
    • 缺点：计算相对复杂，需要针对不同的分位数进行多次计算。

五、对数损失（Log Loss）

  1. 定义：

    • 虽然对数损失通常用于分类问题，但在某些回归问题中也可以使用。例如，当预测值是一个概率或在 0 到 1 之间的连续值时，可以使用对数损失。
    • 数学表达式为：$LogLoss=-y\log(\hat{y})-(1-y)\log(1-\hat{y})$，其中$y$是真实值，$\hat{y}$是模型的预测值。

  2. 特点：

    • 优点：对预测值的变化比较敏感，特别是在接近 0 和 1 的区间。适合处理概率型的回归问题。
    • 缺点：只适用于特定类型的回归问题，且对预测值的范围有要求。

选择合适的损失函数取决于具体的问题和数据特点。在实际应用中，可以尝试不同的损失函数，并通过交叉验证等方法来评估模型的性能，选择最优的损失函数。

参考

回归任务里的损失函数