如何使用MapReduce实现基于物品的协同过滤(2)

2014-11-20

我在如何使用MapReduce实现基于物品的协同过滤(1)中介绍了一种通过基于物品的协同过滤向用户推荐电影的方法。不过,如何使用MapReduce实现基于物品的协同过滤(1)中使用的方法和我之前在文章基于物品的协同过滤介绍的方法有很大的不同。基于物品的协同过滤不仅可以用于推荐系统,也可以用于预测用户对电影的评分。其实就是根据预测的用户对电影的评分向用户推荐电影,因为用户肯定会喜欢自己评分较高的电影。

本文讲讲如何使用MapReduce实现该方法,建议先阅读上文中提到的两篇文章。

如何使用MapRedue实现矩阵乘法中我介绍了两种矩阵乘法的实现,本文中使用其中的实现方案2

修改评分矩阵R的存储形式


MovieLens数据集中每一行是这样存储的:

user_id | item_id | rating

我们需要把它转换成这样的形式:

item_id_x  user_id_1:rating, user_id_2:rating, ...

即,每一行的键是一部电影的id,值是所有用户对该电影的评分(未评分的用户除外)。

使用MapReduce实现这一步比较简单,不做描述。

计算物品(电影)之间的相似度矩阵S


Map的输入:

key: item_id_x  
value: user_id_1:rating, user_id_2:rating, ...

Map的输出:

key: item_id_x, item_id_1  value: first, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_x, item_id_2  value: first, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_x, item_id_3  value: first, (user_id_1:rating, user_id_2:rating, ...)
......
key: item_id_1, item_id_x  value: second, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_2, item_id_x  value: second, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_3, item_id_x  value: second, (user_id_1:rating, user_id_2:rating, ...)
......

Reduce的输入:

key: item_id_x, item_id_y
values: <first, 所有用户对电影item_id_x的评分>,<second, 所有用户对电影item_id_y的评分>

Reduce根据所有用户对电影item_id_x的评分和所有用户对电影item_id_y的评分这两个向量计算电影item_id_x与电影item_id_y的相似度。

Reduce的输出:

key: item_id_x, item_id_y
value: 两者的相似度

由此,相似度矩阵S就出来了。

相似度矩阵通过评分矩阵求推荐值


这一步骤类似于如何使用MapRedue实现矩阵乘法中的实现方案2
如何使用MapRedue实现矩阵乘法C=A*B,在这里S对应A,R对应B。Map阶段是类似的,不做介绍。由于

由于文章基于物品的协同过滤中用到了加权平均值,所以Reduce阶段有些不同。

Reduce的输入:

key: item_id_x, user_id_y
value: 所有电影与电影item_id_x的相似度,用户user_id_y对所有电影的评分

设所有电影与电影item_id_x的相似度构成行向量vv[i]表示电影item_id_i与电影item_id_x的相似度。设用户user_id_y对所有电影的评分构成列向量ww[i]表示用户user_id_y对电影item_id_i的评分,0表示没有评分。

我们预测的用户user_id_y对电影item_id_x的评分用matlab类型的代码可表示为:

(v*w) /(v*(w>0))  

过滤


这一步是过滤掉用户评价过的电影,在如何使用MapReduce实现基于物品的协同过滤(1)已经做了介绍。

( 完 )