如何解决向量化:如何避免两个for循环?
通过这篇文章,我正在寻找输入向量化我的python代码,该代码当前正在使用两个for循环。由于性能原因,我想避免使用for循环。我当前使用的python代码如下所示。
代码做什么? 我有一个输入数据帧,其列c1具有4行10和3行20。 c2列是另一列具有一些随机数的列。
预期的输出:我的窗口大小为2。因此,对于每2行c1 = 10或c1 = 20的行,我必须计算相应列c2的均值。我随附了输入和预期的输出屏幕截图。
目前,我正在使用两个for循环来实现这一目标。
输入数据框屏幕截图:input dataframe 预期的输出屏幕截图:expected output
我当前的Python代码:
import pandas as pd
data = [{'c1':10,'c2':10},{'c1':10,'c2':20},'c2':30},'c2':40},{'c1':20,'c2':50},'c2':60},'c2':70}]
df = pd.DataFrame(data) # df = Input
df.head()
window = 2
allDF = pd.DataFrame()
records = df['c1'].unique()
for x in records:
intervalsDF = pd.DataFrame(columns=['c1','meanc2'])
df2 = df.loc[df['c1'] == x]
for i in range(0,len(df2),window):
intervalIndex = len(intervalsDF)
interval = df2[i:i+window]
c1 = list(interval['c1'])[0]
meanc2 = interval['c2'].mean()
intervalSummary = [c1,meanc2]
intervalsDF.loc[intervalIndex] = intervalSummary
allDF = allDF.append(intervalsDF) # allDF is the expected output
allDF.head()
解决方法
执行转换可能是更短,更简单的方法。但这是一种避免循环的方法。
# create the data frame,as per the original post
data = [{'c1':10,'c2':10},{'c1':10,'c2':20},'c2':30},'c2':40},{'c1':20,'c2':50},'c2':60},'c2':70}
]
df = pd.DataFrame(data) # df = Input
# 1. convert the index to an ordinary column
df = df.reset_index()
# 2. 'helper' is a column that counts 0,1,2,3,...
# and re-starts for each c1
df['helper'] = df['index'] - df.groupby('c1')['index'].transform(min)
# 3. integer division on 'helper',to get 0,...
# (identify non-overlapping pairs)
df['helper'] //= 2
# 4. now convert 'index' from ordinary column back to an Index
df = df.set_index('index')
# 5. compute the mean of c2 for value of 'c1' and each pair of observations
df = df.groupby(['c1','helper'])['c2'].mean()
# 6. re-order 'helper' and 'c1' to match order in output
df.index = df.index.swaplevel()
print(df)
helper c1
0 10 15
1 10 35
0 20 55
1 20 70
Name: c2,dtype: int64
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。