通过用numpy或表格比较彼此之间的所有项来过滤两个列表

如何解决通过用numpy或表格比较彼此之间的所有项来过滤两个列表

|| 我有两个元组列表，每个列表中的元组都是唯一的。 列表具有以下格式：

[(\'col1\',\'col2\',\'col3\',\'col4\'),...]

我正在使用嵌套循环从两个列表中查找具有给定cols，col2和col3相同值的成员

temp1 = set([])
temp2 = set([])
for item1 in list1:
    for item2 in list2:
        if item1[\'col2\'] == item2[\'col2\'] and \\
            item1[\'col3\'] == item2[\'col3\']:
            temp1.add(item1)
            temp2.add(item2)

简单地工作。但是，如果列表中有成千上万的项目，则需要花费几分钟的时间才能完成。 使用表格，我可以为list2过滤list1 agianst col2，col3的一项，如下所示：

list1 = tb.tabular(records=[...],names=[\'col1\',\'col4\'])
...

for (col1,col2,col3,col4) in list2:
    list1[(list1[\'col2\'] == col2) & (list1[\'col3\'] == col3)]    

这显然是“做错了”，并且比第一种慢得多。 我如何使用numpy或tabular来有效地检查元组列表中的项目与另一个项目中的所有项目？ 谢谢     

解决方法

尝试这个：

temp1 = set([])
temp2 = set([])

dict1 = dict()
dict2 = dict()

for key,value in zip([tuple(l[1:3]) for l in list1],list1):
    dict1.setdefault(key,list()).append(value)

for key,value in zip([tuple(l[1:3]) for l in list2],list2):
    dict2.setdefault(key,list()).append(value)

for key in dict1:
    if key in dict2:
        temp1.update(dict1[key])
        temp2.update(dict2[key])

肮脏的，但应该工作。     ,\“我如何使用numpy或tabular相对于另一个元组的所有项有效地检查元组列表中的项\” 好吧，我没有使用表格的经验，而没有关于numpy的经验，所以我无法为您提供确切的“罐头”解决方案。但是我想我可以为您指明正确的方向。如果list1的长度为X且list2的长度为Y，则您正在进行X * Y检查...而您只需要进行X + Y检查。 您应该执行以下操作（我会假装这些是常规Python元组的列表-而非表格记录-我确定您可以进行必要的调整）：

common = {}
for item in list1:
    key = (item[1],item[2])
    if key in common:
        common[key].append(item)
    else:
        common[key] = [item]

first_group = []
second_group = []
for item in list2:
    key = (item[1],item[2])
    if key in common:
        first_group.extend(common[key])
        second_group.append(item)

temp1 = set(first_group)
temp2 = set(second_group)

    ,我将创建一个元组的子类，它具有特殊的ѭ5tu和sub6ѭ方法：

>>> class SpecialTuple(tuple):
...     def __eq__(self,t):
...             return self[1] == t[1] and self[2] == t[2]
...     def __hash__(self):
...             return hash((self[1],self[2]))
... 

它比较

col1

和

col2

并说在此列相同的条件下元组相等。 然后仅在此特殊元组上使用

set

交集进行过滤：

>>> list1 = [ (0,1,2,0),(0,3,4,(1,12) ]
>>> list2 = [ (0,9,9),(42,12) ]
>>> set(map(SpecialTuple,list1)) & set(map(SpecialTuple,list2))
set([(42,12)])

我不知道有多快。告诉我。 :)