MRR（Mean Reciprocal Rank）和 NDCG（Normalized Discounted Cumulative Gain）
·
MRR计算就是看我想要的排序是第几。比如我要搜python教程，搜出来是：
（MRR（Mean Reciprocal Rank）平均倒数排名：第一个正确答案排在第几位，比如搜索python教程，第一个是python官网广告，第二个是某培训机构广告，第三个是python官方文档，第四个是某博客教程。那么第三个才是我想要的，所以MRR就是1/3.
NDCG：Normalized Discounted Cumulative Gain。不仅要看是否召回，还要看排序是否合理。假如标准答案中有5篇论文，相关性得分不同。
然后agent搜到到的论文顺序是：
看清楚这个是咋计算的，就是gain得分除以log以2为底，然后括号里面的数字是从2开始每次加一的
排在第 1 位：不打折，得分 = Gain / log₂(1+1) = Gain / 1
排在第 2 位：打折，得分 = Gain / log₂(2+1) = Gain / 1.58
排在第 3 位：更打折，得分 = Gain / log₂(3+1) = Gain / 2
排在第 10 位：严重打折，得分 = Gain / log₂(10+1) = Gain / 3.46
然后计算得到的值和期望得到的结果，也就是期望agent搜索得到的结果是：
将两个结果进行相除，来判断agent的效果
衡量排序质量的指标
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
3
0- 0
已为社区贡献4条内容
所有评论(0)