MRR（Mean Reciprocal Rank）：一个信息检索和推荐系统中常用的评价指标

MRR（Mean Reciprocal Rank）是一个在信息检索和推荐系统中常用的评价指标，用于衡量模型在候选答案排序中的性能。它特别关注于第一个相关结果在排序中的位置。以下是MRR指标的定义和计算方法：

定义

MRR是平均倒数排名（Mean Reciprocal Rank），其中“倒数”指的是对于每个查询，计算第一个正确答案的排名的倒数，然后对所有查询的倒数排名取平均值。

计算方法

MRR的数学表达式为：

$$\text{MRR} = \frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\text{rank}_i}$$

其中，$|Q|$ 是查询的个数，$\text{rank}_i$ 是对于第 $i$ 个查询，推荐列表中第一个在ground-truth结果中的item所在的排列位置。

举例说明

假设检索三次的结果如下，需要的结果（cat，torus，virus）分别排在3,2,1的话，此系统的MRR为：

$$\text{MRR} = \frac{1}{3} \left( \frac{1}{3} + \frac{1}{2} + 1 \right) = \frac{11}{18} \approx 0.61$$ 。

应用场景

MRR适用于需要关注第一个相关结果的任务，如问答系统和链接推荐。它计算的是平均倒数排名，即平均倒数的位置，越接近1表示性能越好。

这个指标强调了结果列表中第一个相关结果的位置，因此在很多场景下，尤其是当用户更可能查看列表顶部的结果时，MRR是一个重要的性能指标。