如何解决慢速执行的熊猫变换方法
我有一个规范的Pandas transform
示例,其中性能似乎莫名其妙地变慢了。我已阅读过相关的Q&A on the apply
method,但以我的拙见,我在下面的解释中对我的问题提供了不完整且可能引起误解的答案。
数据框的前五行是
id date xvar 0 1004 1992-05-31 4.151628 1 1004 1993-05-31 2.868015 2 1004 1994-05-31 3.043287 3 1004 1995-05-31 3.189541 4 1004 1996-05-31 4.008760
- 数据框中有24,693行。
- 有2,992个唯一的
id
值。
我想将xvar
居中放置id
。
方法1耗时861毫秒:
df_r['xvar_center'] = (
df_r
.groupby('id')['xvar']
.transform(lambda x: x - x.mean())
)
方法2耗时9毫秒:
# Group means
df_r_mean = (
df_r
.groupby('id',as_index=False)['xvar']
.mean()
.rename(columns={'xvar':'xvar_avg'})
)
# Merge group means onto dataframe and center
df_w = (
pd
.merge(df_r,df_r_mean,on='id',how='left')
.assign(xvar_center=lambda x: x.xvar - x.xvar_avg)
)
Q&A on the apply
method建议尽可能使用向量化函数,就像@sammywemmy的注释所暗示的那样。我认为这是重叠的。但是,Q&A on the apply
method也会满足以下条件:
“ ......在某些常见情况下,您将希望摆脱对
apply
...数值数据的任何调用”
@sammywemmy的评论在回答我的问题时并未“摆脱对transform
方法的任何调用。相反,答案取决于transform
方法。因此,除非@sammywemmy的建议严格由不依赖transform
方法的替代方法所主导,否则我认为我的问题及其答案与Q&A on the apply
method中的讨论有足够的区别。 (感谢您的耐心和帮助。)
解决方法
此答案归因于@sammywemmy的有洞察力的评论,他应受到所有赞扬,也不应为此处的任何不准确性负责。因为Pandas User's Guide中说明了transform
的类似用法,所以我认为详细说明可能对其他人有用。
我的假设是问题在于使用非矢量化函数和大量组。当我将groupby
变量从id
(2,992个唯一值)更改为year
(由date
变量构造并包含28个唯一值)时,原始版本之间的性能差异方法,@ sammywemmy的范围显着缩小,但仍然很重要。
%%timeit
df_r['xvar_center_y'] = (
df_r
.groupby('year')['xvar']
.transform(lambda x: x - x.mean())
)
11.4 ms ± 202 µs per loop (mean ± std. dev. of 7 runs,100 loops each)
vs。
%timeit df_r['xvar_center_y'] = df_r.xvar - df_r.groupby('year')['xvar'].transform('mean')
1.69 ms ± 5.11 µs per loop (mean ± std. dev. of 7 runs,1000 loops each)
@sammywemmy洞察力的美丽之处在于,可以很容易地将其应用于其他常见转换,以实现潜在的显着性能改进,并且在附加代码方面的成本不高。例如,考虑标准化变量:
%%timeit
df_r['xvar_z'] = (
df_r
.groupby('id')['xvar']
.transform(lambda x: (x - x.mean()) / x.std())
)
1.34 s ± 38 ms per loop (mean ± std. dev. of 7 runs,1 loop each)
vs。
%%timeit
df_r['xvar_z'] = (
(df_r.xvar - df_r.groupby('id')['xvar'].transform('mean'))
/ df_r.groupby('id')['xvar'].transform('std')
)
3.96 ms ± 297 µs per loop (mean ± std. dev. of 7 runs,100 loops each)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。