使用Spark JDBC从Oracle表加载数据非常慢

如何解决使用Spark JDBC从Oracle表加载数据非常慢

我试图使用spark jdbc从表中读取5亿条记录，然后对该表进行性能联接。 当我从sql developer执行sql时，需要25分钟。 但是，当我使用spark JDBC加载它时，它最后一次运行了18个小时，然后我取消了它。 我正在为此使用AWS-GLUE。

这就是我使用spark jdbc阅读的方式

df = glueContext.read.format("jdbc")
.option("url","jdbc:oracle:thin://abcd:1521/abcd.com")
.option("user","USER_PROD")
.option("password","ffg#Prod")
.option("numPartitions",15)
.option("partitionColumn","OUTSTANDING_ACTIONS")
.option("lowerBound",0)
.option("upperBound",1000)
.option("dbtable","FSP.CUSTOMER_CASE")
.option("driver","oracle.jdbc.OracleDriver").load()

customer_casedf=df.createOrReplaceTempView("customer_caseOnpremView")

我使用过partitionColumn OUTSTANDING_ACTIONS，这是数据分配 第1列是partitionColumn，第二列是它们的出现

1   8988894
0   4227894
5   2264259
9   2263534
8   2262628
2   2261704
3   2260580
4   2260335
7   2259747
6   2257970

这是我的Join，其中customer_caseOnpremView表的加载需要超过18个小时，而另外两个表则需要1分钟

ThirdQueryResuletOnprem=spark.sql("SELECT CP.CLIENT_ID,COUNT(1) NoofCases FROM customer_caseOnpremView CC JOIN groupViewOnpremView FG ON FG.ID = CC.OWNER_ID JOIN   client_platformViewOnpremView CP ON CP.CLIENT_ID = SUBSTR(FG.PATH,2,INSTR(FG.PATH,'/') + INSTR(SUBSTR(FG.PATH,1 + INSTR(FG.PATH,'/')),'/') - 2) WHERE FG.STATUS = 'ACTIVE' AND FG.TYPE = 'CLIENT' GROUP BY CP.CLIENT_ID")

请提出如何快速进行的建议。 我没有10至40的工人 我已将Executor类型标准用于GP2最大标准，但对工作没有影响

解决方法

由于查询中包含很多过滤器，因此您甚至不需要引入整个数据集，然后对其应用过滤器。但是您可以将此查询下推到db引擎，该引擎将依次过滤数据并返回Glue作业的结果。

这可以按照https://stackoverflow.com/a/54375010/4326922中的说明完成，以下是mysql的示例，该示例只需很少的更改即可用于oracle。

query= "(select ab.id,ab.name,ab.date1,bb.tStartDate from test.test12 ab join test.test34 bb on ab.id=bb.id where ab.date1>'" + args['start_date'] + "') as testresult"

datasource0 = spark.read.format("jdbc").option("url","jdbc:mysql://host.test.us-east-2.rds.amazonaws.com:3306/test").option("driver","com.mysql.jdbc.Driver").option("dbtable",query).option("user","test").option("password","Password1234").load()