自动将数据从S3加载到Redshift

如何解决自动将数据从S3加载到Redshift

我也希望将数据从S3加载到Redshift。进入S3的数据每秒约5MB {近似大小}。

我需要自动将数据从S3加载到Redshift。 到S3的数据正在从kafka-stream消费者应用程序中转储。

文件夹S3数据采用文件夹结构。 示例文件夹： bucketName / abc-event / 2020/9/15/10

此文件夹中的文件：

abc-event-2020-9-15-10-00-01-abxwdhf。 5MB

abc-event-2020-9-15-10-00-02-aasdljc。 5MB

abc-event-2020-9-15-10-00-03-thntsfv。 5MB

S3中的文件具有用下一行分隔的json对象。

此数据需要以redshift加载到 abc-event 表中。

我知道几个选项，例如 AWS数据管道， AWS胶， AWS Lambda Redshift加载器（

）。

>

什么是最好的方法。 非常感谢有人指导我。 谢谢你

=========================================== >

感谢Prabhakar的回答。在此方面需要一些帮助。

通过搜寻器在数据目录中创建一个表，然后 然后在胶水中运行ETLL作业就完成了将数据从S3加载到redshift的工作。

我正在使用方法1。谓词下推 将新文件加载到S3的不同分区中（例如，新小时开始）。

我正在使用AWS Glue python脚本作业添加新分区。 使用Athena API在表中添加新分区。 （使用ALTER TABLE ADD PARTITION）。

我已经在控制台中检查了python脚本作业添加了新分区。我检查了新分区已添加到数据目录表中。

当我使用下推谓词运行同一作业时，会给出python脚本粘合作业添加的相同分区。

该作业未将新分区中S3的新文件加载到Redshift。

我无法弄清楚我在做什么错???

解决方法

在您的用例中，您可以利用AWS Glue定期将数据加载到redshift中。您可以使用触发器安排您的Glue作业每60分钟运行一次，在您的案例中计算约为1.8 GB。

可以根据您的需要以及每次处理要处理的数据量来更改此间隔。

在读取此数据时，可以采取几种方法：

1. Predicate pushdown：

这只会加载作业中提到的分区。您可以每次运行时计算分区值，并将它们传递给过滤器。为此，您需要在每次运行时运行Glue搜寻器，以便在表元数据中更新表分区。

如果您不想使用搜寻器，则可以使用boto3 create_partition或Athena add partition，这是一项免费操作。

1. Job bookmark：

这将仅加载从Glue作业完成前一次运行时开始累积的最新s3数据。如果某些运行中S3中没有数据生成，此方法可能无效。

一旦计算了要读取的数据，您只需在每次运行时将其写入redshift表即可。

在您的情况下，子目录中存在文件，您需要为其启用recurse，如以下语句所示。

datasource0 = glueContext.create_dynamic_frame.from_catalog(database =<name>,table_name = <name>,push_down_predicate = "(year=='<2019>' and month=='<06>')",transformation_ctx = "datasource0",additional_options = {"recurse": True})