如何解决AWS Glue将数据从RDS同步需要将所有表中的4个表同步到S3Apache Parque格式
我们正在使用Postgres RDS实例（db.t3.2xlarge，具有大约2TB的数据）。我们有一个多租户应用程序，因此对于所有注册了我们产品的组织，我们正在创建一个单独的架构来复制我们的数据模型。现在，我们的几个模式（大约5到10个模式）包含几个大表（大约5到7个大表，每个大表包含10到2亿行）。对于UI，我们需要显示一些静态数据和图形，并计算这些静态数据和图形数据，我们需要在大表上执行连接，这会减慢整个数据库服务器的速度。有时我们需要在夜间进行此类查询，以使用户不会遇到任何性能问题。因此，我们正在计划使用一种解决方案在S3中创建一个数据湖，以便我们可以将所有分析负载从RDBMS转移到OLAP解决方案。
第一步，我们需要将数据从RDS传输到S3，并且还要保持同步两个数据源。考虑到以下要求，您能否建议哪种工具对我们来说是更好的选择：
- 我们需要每小时更新最近3天的数据。我们希望不断更新最新数据，因为在3天的时间范围内，它可能会发生变化。 3天后，我们可以认为数据处于“静态”状态，并且可以将其保留在数据湖中，而无需进行任何后续修改。
- 我们目前正在使用多租户系统，并且拥有约350个架构，但是随着越来越多的组织在我们的产品中注册我们，它会越来越多。
- 我们计划进行ETL，因此在转换中，我们计划连接所有表并创建一个非规范化表，并将数据以apache parque格式存储在S3中。这样我们就可以使用Redshift Spectrum，EMR或其他工具对该表执行分析查询。
解决方法
我最近才发现有关AWS Data Lake的信息，也是基于我的研究（希望它将为您提供最佳解决方案）。
AWS Athena可以partition数据，并且您可能希望根据租户ID（客户ID）对数据进行分区。
AWS Glue具有搜寻器：
搜寻器可以定期运行以检测新数据的可用性 以及对现有数据的更改，包括表定义 变化。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。