如何解决使用Dask数据框将同一组的行转换为单个行
我有一个像这样的dask数据框:
group index col1 col2 col3
1 1 5 3 4
1 2 4 3 7
1 3 1 2 9
-----------------------
2 2 4 3 7
2 3 1 2 9
2 4 7 4 3
-----------------------
3 3 1 2 9
3 4 7 4 3
3 5 6 3 2
这基本上是一个滚动窗口,其中每个组在数据集中都有其行和多于x的行。我需要将其更改为以下内容:
group col1_1 col2_1 col3_1 col1_2 col2_2 col3_2 col1_3 col2_3 col3_3
1 5 3 4 4 3 7 1 2 9
2 4 3 7 1 2 9 7 4 3
3 1 2 9 7 4 3 6 3 2
因此对于每个组,我都有一行包含该组中所有值的行。每组的行数是恒定的,但可以更改,这意味着可以为10,但是对于整个数据集,则为10。在大熊猫中,我找到了一种使用此页面link中的这段代码的方法。
indexCol = dff.index.name
dff.reset_index(inplace=True)
colNames = dff.columns
df = pd.pivot_table(dff,index=[indexCol],columns=dff.groupby(indexCol).cumcount().add(1),values=colNames,aggfunc='sum')
df.columns = df.columns.map('{0[0]}{0[1]}'.format)
问题是,dask数据透视表不能像熊猫一样工作,并且我所读的内容不允许多索引,因此此代码不适用于dask数据帧。我也无法在dask数据帧中创建compute(),因为该数据集对我的内存来说太大了,所以我应该将其保留在dask中。
非常感谢您的帮助
解决方法
好吧,我最终弄清楚了,所以我将其发布在这里:
with cte as (
select nid from tbl_category where name = 'mobile'
union all
select ca.nid from cte ct inner join tbl_category ca on ca.parentid = ct.nid
)
select p.*
from tbl_productions p
inner join cte ct on ct.nid = p.nid
其中colNames是原始数据集的列(问题中的col1,col2和col3),而indexCol是groupby列的名称(问题中的group)。基本上,我们为每个组创建一个字典,并将其作为一行附加到数据框。 dictMeta创建元数据是因为有时如果没有元数据,就会发生错误。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。