Spark Job内部

如何解决Spark Job内部

我尝试浏览各种帖子，但没有得到答案。可以说我的Spark作业有1000个输入分区，但我只有8个执行程序核心。该工作分为两个阶段。有人可以帮助我确切地了解spark是如何处理的。如果您能帮助回答以下问题，我将不胜感激

1. 由于只有8个执行器核心，是否会同时触发我的工作的第一阶段8个分区？
2. 如果上述情况成立，那么在处理第一组8个分区后，当spark运行第二组8个分区时，该数据存储在哪里？
3. 如果我没有进行广泛的转换，这会导致磁盘溢出吗？
4. 对于Spark作业，最佳文件大小是多少。我的意思是通过处理1 MB的文件和1000个Spark分区可以使Spark更好，或者说具有100个Spark的分区10MB的文件？

对不起，如果这些问题不清楚。这不是一个真正的用例，但是当我学习Spark时，我试图了解如何处理不同分区的内部细节。

谢谢！

解决方法

Spark将在第一阶段运行所有作业，然后再开始第二阶段。这并不意味着它将启动8个分区，等待它们全部完成，然后再启动另外8个分区。相反，这意味着每次执行者完成一个分区时，它将从第一阶段开始另一个分区，直到开始第一阶段的所有部分，然后spark将等待直到第一阶段的所有阶段都完成，然后再开始第二阶段

数据存储在内存中，或者如果没有足够的可用内存，则溢出到执行器内存的磁盘上。是否发生溢出将取决于确切有多少可用内存以及产生多少中间数据。

最佳文件大小各不相同，并且可以通过最佳方式进行衡量，但需要考虑以下一些关键因素：

1. 文件总数限制了整体并行性，因此应大于内核数。
2. 处理分区所使用的内存量应小于执行程序可用的内存量。 （AWS胶约4GB）
3. 每个文件的读取都有开销，因此您不需要太多的小文件。

如果您只有8个核心，我倾向于10MB或更大的文件。