如何应用node2vec建立链接预测模型

如何解决如何应用node2vec建立链接预测模型

我一直在尝试学习python编程，并且正在尝试实施一个链接预测项目。

我有一个包含像元组对的列表：

db.mycollection.aggregate([ { $lookup: { from: "mycollection",let: { id_lav: "$worker_id",curr_ord_id: "$ord_id" },/** 'curr_' is for current*/ pipeline: [ { $sort: { ord_id: 1 } },{ $match: { $expr: { $and: [ { $eq: [ "$worker_id","$$id_lav" ] },{ $gt: [ "$ord_id","$$curr_ord_id" ] } ] } } },{ $limit: 1 } ],as: "next" } },{ $unwind: { path: "$next",preserveNullAndEmptyArrays: true } },{ $unwind: { path: "$next",preserveNullAndEmptyArrays: true} },{ $out: "mycollection" } ],{ allowDiskUse: true })

我能够生成未连接的对-即使用以下代码在原始列表中不存在的对：

ten_author_pairs = [('creutzig','gao'),('creutzig','linshaw'),('gao',('jing','zhang'),'liu'),('zhang','xu'),('briant','einav'),('chen','jing'),'tan')] 

这导致我拥有一个非常不平衡的数据集-现实生活中的数据集可能是这种情况。

接下来，为了应用node2vec，首先，我将这两个列表都转换为数据帧-

#generating negative examples - 

from itertools import combinations

elements = list(set([e for l in ten_author_pairs for e in l])) # find all unique elements

complete_list = list(combinations(elements,2)) # generate all possible combinations

#convert to sets to negate the order

set1 = [set(l) for l in ten_author_pairs]
complete_set = [set(l) for l in complete_list]

# find sets in `complete_set` but not in `set1`
ten_unconnnected = [list(l) for l in complete_set if l not in set1]

print(len(ten_author_pairs))
print(len(ten_unconnnected))

然后，我制作图并按如下所示应用node2vec：

df = pd.DataFrame(ten_author_pairs,columns = ['u1','u2'])
df_negative = pd.DataFrame(ten_unconnected,'u2'])
df['link'] = 1 #for connected pairs
df_negative['link'] = 0 #for unconnected pairs

df_new = pd.concat([df,df_negative])

最后，我使用Logistic回归进行链接预测，如下所示：

# build graph
G_data = nx.from_pandas_edgelist(df_new,"u1","u2",create_using=nx.Graph())

#!pip install node2vec
from node2vec import Node2Vec

# Generate walks
node2vec = Node2Vec(G_data,dimensions=100,walk_length=16,num_walks=50)

# train node2vec model
n2w_model = node2vec.fit(window=7,min_count=1)

我得到的分数是0.36，非常差。

任何人都可以帮助我-

1. 指出我在概念或代码方面缺少哪些地方？
2. 请帮助我提高分数。

我真的非常感谢您的帮助。

解决方法

您的目标是预测2个未连接节点之间是否存在链接。

首先，您提取节点之间没有链接的节点对。

下一步是从给定的图形中隐藏一些边缘。这是准备训练数据集所必需的。随着社交网络的发展，引入了新的优势。机器学习模型需要知道演化的图。具有隐藏边的图是时间G的图t，而我们当前的数据集是时间{{1}的图G }。

在删除链接或边缘时，应避免删除可能产生未连接节点或网络的任何边缘。下一步是为所有未连接的节点对（包括您隐藏的对）创建功能。

已删除的边将标记为t+n（正样本），未连接的节点对将标记为1（负样本）。

标记后，您可以使用0算法从图中提取节点特征。为了计算边的特征，您可以将那对节点的特征相加。这些功能将通过逻辑回归模型进行训练。

您可以在节点中添加更多度量作为值，以便模型可以根据您的需求预测特征。例如adamic / adar索引，共同邻居等。

由于已将图形拆分为训练样本和测试样本，因此必须找出哪些边缘具有模型预测的概率。

node2vec

尝试捕获是为了确保我们不会出现索引错误，因为xtrain中的某些数组将为空。

低分可能是您隐藏边缘的方式导致的。尝试使用不同的参数和测试大小调整逻辑回归。

此外，您将需要更大的数据集，以便可以正确地训练模型。

您还可以尝试使用不同的机器学习模型，例如随机森林分类器或多层感知器。