如何解决在Spark中加载镶木地板文件后出现奇怪的数据偏斜
我正在使用PySpark(约10个执行程序,每个执行程序有4-5个内核)以拼合形式从云存储中读取一些数据到Spark DataFrame中。 spark.sql.files.maxPartitionBytes
是在加载之前设置的,因此我可以控制每个分区的大小,然后控制我可以获取的分区数。加载数据后,我将Spark函数/ UDF应用于数据。因此,不应发生洗牌(join和groupby)。我期望每个分区在加载后具有相对相等的分区大小,但现实情况是加载的数据非常不对称。
在YARN中查看时,最小,25%,中位数和75%的分区大小均为21 B(基本上为空分区),而最大分区大小为100 MB(已加载所有行)。
我现在要解决此歪斜的方法是执行df.repartition()
以在加载后立即均匀分布它,并且效果很好。但这又引入了另一种不理想的数据改组方法。
所以问题是,为什么默认情况下分区在加载后是如此偏斜?有没有办法让我以相对均匀的分区大小加载它们并跳过该df.repartition()
步骤?
谢谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。