熊猫-第1列和第2列中n频繁出现的密集交叉表

如何解决熊猫-第1列和第2列中n频繁出现的密集交叉表

在Jupyter笔记本的MovieLens100k数据集上建立协作过滤模型的过程中，我想显示用户与电影的密集交叉表。我认为最好的方法是显示最频繁的 n user与最频繁的 m movie。

如果您想在笔记本中运行它，则应该在安装fastai2依赖项之后将其复制/粘贴（它会在其他内部库中导出熊猫）

from fastai2.collab import *
from fastai2.tabular.all import *
path = untar_data(URLs.ML_100k)

# load the ratings from csv
ratings = pd.read_csv(path/'u.data',delimiter='\t',header=None,names=['user','movie','rating','timestamp'])
# show a sample of the format
ratings.head(10)

# slice the most frequent n=20 users and movies
most_frequent_users = list(ratings.user.value_counts()[:20])
most_rated_movies = list(ratings.movie.value_counts()[:20])
denser_ratings = ratings[ratings.user.isin(most_frequent_users)]
denser_movies = ratings[ratings.movie.isin(most_rated_movies)]

# crosstab the most frequent users and movies,showing the ratings
pd.crosstab(denser_ratings.user,denser_movies.movie,values=ratings.rating,aggfunc='mean').fillna('-')

结果：

预期：

所需的输出比我所做的要密集得多。我的示例似乎比随机示例要好一点，但幅度不大。对于为什么它没有我想要的那么稠密，我有两个假设：

• 最常访问的用户可能并不总是对收视率最高的电影进行评分。
• 我的代码存在一个错误，该错误使它无法正确索引到数据帧中

如果您在选择最常访问的用户和电影或使用isin进行比赛时遇到错误，请告诉我。

如果这是正确的（或者实际上，无论如何）-我想看看如何将更密集的用户和电影集交叉表化。我想到的下一种方法是抓取最频繁的电影，并从该数据框中而不是全局数据集中选择最频繁的用户。但我不确定该怎么做-在所有热门 m 电影中搜索最频繁的用户，或者更普遍地找到 n * m 链接最多的用户和电影。

如果我能解决更好的答案，我会发布我的代码。

解决方法

我的代码有一个错误，该错误使它索引到数据框中 我以为我在做错事

是的，有一个错误。

most_frequent_users = list(ratings.user.value_counts()[:20])
most_rated_movies = list(ratings.movie.value_counts()[:20])

实际上是在获取值计数。因此，如果用户1、2和3各自进行100条评论，则当我们确实需要ID [1,2,3]时，上述代码将返回[100，100，100]。要获取最常用条目的ID而不是计数，您可以添加.index to value_counts

most_frequent_users = list(ratings.user.value_counts().index[:20])
most_rated_movies = list(ratings.movie.value_counts().index[:20])

仅此一项，就可以将密度提高到几乎最终的结果。我之前所做的实际上只是一个随机样本（错误地使用总值作为电影ID的查找）

此外，我在文章结尾处提到的方法是一种针对以最高密度为目标的交叉制表的更健壮的通用解决方案。找到最频繁的X，并在该特定集合内找到最频繁的Y。即使在稀疏数据集中，此方法也能很好地工作。

n_users = 10
n_movies = 20

# list the ids of the most frequent users (those who rated the most movies)
most_frequent_users = list(ratings.user.value_counts().index[:n_users])
# grab all the ratings made by these most frequent users
denser_users = ratings[ratings.user.isin(most_frequent_users)]

# list the ids of the most frequent movies within this group of users
dense_users_most_rated = list(denser_ratings.movie.value_counts().index[:n_movies])
# grab all the most frequent movies rated by the most frequent users
denser_movies = ratings[ratings.movie.isin(dense_users_most_rated)]

# plot the crosstab
pd.crosstab(denser_users.user,denser_movies.movie,values=ratings.rating,aggfunc='mean').fillna('-')

这正是我想要的。

仅剩下的问题是这种方法的标准性如何？为什么有些值会浮动？