如何解决写入Aurora postgres主实例时,只读副本滞后会成比例增加
我们目前使用Scala spark应用程序,该应用程序将复制命令启动到Aurora Postgres写入实例。
管道每天写入约5Tb的数据,并以并行方式写入不同的分区。几乎有500个活动会话都是复制命令。
写入过程大约需要6个小时,这并不是说每个问题,但是在此期间,写入实例变得非常缓慢,这使得平台(指向写入实例)在此期间给出超时错误。
现在,我们将平台指向只读副本,但是结果不是很好。在这些并行写入期间,只读副本滞后很多,以致实例不断重启。滞后指标浮动(写持续时间为100k ms,而通常保持在100ms以下)。
我尝试采用一种混合方法来按顺序扩展写操作,这样一次最多可以运行100个复制命令,但是即使采用这种方法,在写时间上,延迟也会偶尔达到40-50k ms也增加了。该解决方案目前可以使用,但绝对不是未来的证明。
我的问题基本上是以前曾与Aurora合作过的数据工程师。如何处理Aurora postgres的副本滞后问题,尤其是写大约5Tb的数据。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。