MMD简介
MMD：maximum mean discrepancy。最大平均差异。最先提出的时候用于双样本的检测（two-sample test）问题，用于判断两个分布p和q是否相同。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，如果两个分布生成的足够多的样本在f上的对应的像的均值都相等，那么那么可以认为这两个分布是同一个分布。现在一般用于度量两个分布之间的相似性。在[1]中从任意空间到RKHS上介绍了MMD的计算，这里根据这个顺序来介绍。
常见的核函数选择方法
选择合适的核函数来计算 Maximum Mean Discrepancy（MMD）取决于具体的问题和数据特征。以下是一些考虑因素和常见的核函数选择方法：
-
数据类型和特征：
- 线性可分性：如果数据在原始特征空间中接近线性可分，可以考虑使用线性核函数（如线性核）。
- 非线性特征：如果数据具有复杂的非线性结构，可以选择非线性核函数，如高斯核（RBF 核）、多项式核等。
- 高维数据：对于高维数据，高斯核通常是一个常用的选择，因为它可以在高维空间中有效地捕捉数据的相似性。
-
核函数的性质：
- 平滑性：某些核函数（如高斯核）具有平滑的性质，能够捕捉数据之间的局部相似性。
- 全局性：其他核函数（如多项式核）可能更侧重于全局的特征匹配。
- 参数调整：一些核函数具有参数（如高斯核的带宽参数），需要根据数据进行调整。可以通过交叉验证或其他调参方法来找到合适的参数值。
-
先验知识和领域经验：
- 如果对数据的分布有一些先验知识或领域经验，可以根据这些知识来选择核函数。例如，如果知道数据具有某种特定的结构或相似性模式，可以选择与之匹配的核函数。
-
实验和比较：
- 在实际应用中，可以尝试使用多种核函数进行实验，并比较它们在 MMD 计算和相关任务中的性能。可以根据评估指标（如准确率、召回率等）来选择最优的核函数。
常见的核函数包括：
- 高斯核（Gaussian Kernel）：$K(x, y) = \exp(-\frac{|x - y|^2}{2\sigma^2})$，其中 $\sigma$ 是带宽参数。
- 多项式核（Polynomial Kernel）：$K(x, y) = (x^T y + c)^d$，其中 $c$ 和 $d$ 是参数。
- 线性核（Linear Kernel）：$K(x, y) = x^T y$。
需要注意的是，不同的核函数可能对数据的适应性不同，而且选择合适的核函数可能需要一些尝试和调整。此外，还可以考虑使用组合核函数或自适应核函数来进一步提高性能。
总之，选择合适的核函数需要综合考虑数据特点、问题需求和实验结果，以找到最适合特定情况的核函数来准确计算 MMD。
参考
- https://blog.csdn.net/a1154761720/article/details/51516273