在Kubernetes上运行Spark作业时，如何避免Pod的DiskPressure条件及其最终驱逐？

如何解决在Kubernetes上运行Spark作业时，如何避免Pod的DiskPressure条件及其最终驱逐？

我想对数据集重新分区，然后将其写入目标路径。但是，由于DiskPressure，我的吊舱将被逐出。 Spark只显示它丢失了一个工作程序，但是当我在OpenShift控制台中看到events时，我看到pod（worker）被驱逐了。

这是我重新分区的方式：

df = df.repartition("created_year","created_month","created_day")
df.write.partitionBy("created_year","created_day").mode("overwrite").parquet(dest_path)

大约有38k分区：

Job Id  ▾
Description
Submitted
Duration
Stages: Succeeded/Total Tasks (for all stages): Succeeded/Total
1   
parquet at NativeMethodAccessorImpl.java:0
(kill)parquet at NativeMethodAccessorImpl.java:0    2020/08/11 21:35:46 1.5 h   0/2 
2166/38281 (5633 failed)

火花配置如下：

def create_spark_config(spark_cluster,executor_memory='16g',executor_cores='4',max_cores='16'):
    print('Spark cluster is: {}'.format(spark_cluster))
    sc_conf = (
        pyspark.SparkConf().setMaster(spark_cluster) \
        .set('spark.driver.host',HOSTNAME) \
        .set('spark.driver.port',42000) \
        .set('spark.driver.bindAddress','0.0.0.0') \
        .set('spark.driver.blockManager.port',42100) \
        .set('spark.executor.memory','5G') \
        .set('spark.driver.memory','3G') \
        .set('spark.sql.parquet.enableVectorizedReader',True) \
        .set('spark.sql.files.ignoreCorruptFiles',True)
    )
    return sc_conf

我无法弄清楚是什么原因导致DiskPressure，如何停止它？

我阅读了一些有关DiskPressure及其处理的答案和文章，但它们较为通用，与Spark无关。

Spark有6个工作线程，每个都有5GB的内存和6个内核。

解决方法

DiskPressure是一种情况，其中容器的磁盘使用量大量增加，以致于运行Pod的节点面临磁盘可用性的紧缩。这种紧迫感大概占总可用性的 。

在这种情况下，kubelet会在节点上设置DiskPressure状态（这反过来还没有准备好进行调度），因此不会调度较新的Pod，而将Pod逐出（将其重新调度为其他可用性）以满足正常运行时间。豆荚。

面对磁盘压力的大多数常见情况是缺少日志轮换（调试日志），而其他情况是将大数据写入磁盘空间有限的节点上。

编辑：我的回答是通用的，并非特定于星火情景。