我们可以用Java为AWS Glue编写脚本吗

如何解决我们可以用Java为AWS Glue编写脚本吗

我正在尝试使用Java创建作业脚本。在AWS Glue Console中，我只能找到“ Python，Spark”，这意味着我们根本无法使用Java编写脚本吗？如果是，那么此api用于什么：aws-java-sdk-glue

我什至找到了一个例子：https://stackoverflow.com/questions/48256281/how-to-read-aws-glue-data-catalog-table-schemas-programmatically

在上面，似乎我们也可以用Java编写aws胶水脚本。有人可以确认吗？

编辑： 在Scala中，我们写为：glueContext.getCatalogSource(database = "my_data_base",tableName = "my_table")

在Java中，我发现下面的类，该类具有方法名称：withDatabaseName和withTableName https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/glue/model/CatalogEntry.html

那我可以知道以上课程的目的吗？

解决方法

AWS Glue作业的实际脚本定义不支持Java。

您所指的API是AWS开发工具包，它将允许您创建和管理AWS Glue资源，例如创建/运行搜寻器，查看和管理粘合目录，创建作业定义等。

因此，您可以使用适用于Java的AWS开发工具包来管理Glue服务中的资源，类似于如何使用适用于Java的AWS开发工具包来管理EC2，S3和RDS中的资源。

,

您在Glue控制台上看到的语言选项是yoiu将编写的脚本/代码，以提取，转换和加载需要处理的实际数据。源可以是db或s3存储桶，目标可以是任何实例，具体取决于您的用例。

通常，您可以从AWS管理控制台创建Glue作业或S3存储桶，并且当您不想手动执行此操作时，您需要一个SDK，该SDK包含用于创建AWS资源的API调用定义。

因此，胶水作业中的脚本只能用python or scala编写，但是在创建胶水作业时，可以使用其他语言/ SDK。

Java-https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/glue/AWSGlueClient.html

Python-https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html

Java脚本-https://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/Glue.html

Ruby-https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/Glue/Client.html

上面都是用于定义AWS中资源的SDK，如下面的链接所述，其中包含在Glue作业中使用的实际代码。

https://github.com/aws-samples/aws-glue-samples