如何解决寻找范围内的熊猫数据框的交集 数据框1我们要沿其查找点的线数据框2我们要过滤的数据框,将点保留在一定的增量内找到粗线
我正在从事的项目需要将两个数据帧沿着带有增量的一行合并在一起。基本上,我需要使用一条带有2D非线性线的数据框,并在沿着该线的另一个数据点中找到数据点,加上或减去一个增量。
数据框1(我们要沿其查找点的线)
import pandas as pd
df1 = pd.read_csv('path/to/df1/data.csv')
df1
x y
0 0.23 0.54
1 0.27 0.95
2 0.78 1.59
...
97 0.12 2.66
98 1.74 0.43
99 0.93 4.23
数据框2(我们要过滤的数据框,将点保留在一定的增量内)
df2 = pd.read_csv('path/to/df2/data.csv')
df2
x y
0 0.21 0.51
1 0.27 0.35
2 3.45 1.19
...
971 0.94 2.60
982 1.01 1.33
993 0.43 2.43
找到粗线
DELTA = 0.03
coarse_line = find_coarse_line(df1,df2,DELTA)
coarse_line
x y
0 0.21 0.51
1 0.09 2.68
2 0.23 0.49
...
345 1.71 0.45
346 0.96 0.40
347 0.81 1.62
我已经尝试在许多其他Pandas函数中使用df.loc((df['x'] >= BOTLEFT_X) & (df['x'] >= BOTLEFT_Y) & (df['x'] <= TOPRIGHT_X) & (df['y'] <= TOPRIGHT_Y))
,但还没有找到任何可行的方法,而效率却更低(数据集大于200万点)。
解决方法
采用了一种使用merge()
的方法,其中x,y已从 good 曲线df1
- 生成一条统一线 y = x ^ 2
- 随机分配少量生成
df1
- 随机生成大量
df2
,生成的坐标也是原来的三倍 - 以
df1
为参考,以使用pd.cut()
将x和y坐标的良好范围拆分为bin。占坐标总数1/3的垃圾箱运行良好 - 将它们标准化回数组,以便在合并时在
pd.cut()
中再次使用
您可以从散点图中看到,在df2
中找到并保持点接近曲线非常合理,
import pandas as pd
import random
import numpy as np
import matplotlib.pyplot as plt
fig,ax = plt.subplots(1,3,sharey=True,sharex=False,figsize=[20,5])
linex = [i for i in range(100)]
liney = [i**2 for i in linex]
df1 = pd.DataFrame({"x":[l*random.uniform(0.95,1.05) for l in linex],"y":[l*random.uniform(0.95,1.05) for l in liney]})
df1.plot("x","y",kind="scatter",ax=ax[0])
df2 = pd.DataFrame({"x":[l*random.uniform(0.5,1.5) for l in linex*3],"y":[l*random.uniform(0.5,1.5) for l in liney*3]})
df2.plot("x",ax=ax[1])
# use bins on x and y axis - both need to be within range to find
bincount = len(df1)//3
xc = pd.cut(df1["x"],bincount).unique()
yc = pd.cut(df1["y"],bincount).unique()
xc = np.sort([intv.left for intv in xc] + [xc[-1].right])
yc = np.sort([intv.left for intv in yc] + [yc[-1].right])
dfm = (df2.assign(
xb=pd.cut(df2["x"],xc,duplicates="drop"),yb=pd.cut(df2["y"],yc,).query("~(xb.isna() | yb.isna())") # exclude rows where df2 falls outside of range of df1
.merge(df1.assign(
xb=pd.cut(df1["x"],yb=pd.cut(df1["y"],),on=["xb","yb"],how="inner",suffixes=("_l","_r")
)
)
dfm.plot("x_l","y_l",ax=ax[2])
print(f"graph 2 pairs:{len(df2)} graph 3 pairs:{len(dfm)}")
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。