如何解决从数据提取中解析和插入数千行的选项有哪些
我正在构建一个缓存更新程序,以将某些区块链数据缓存在本地Postgresql数据库中。我使用node-postgres创建了一个节点js脚本。提取所有数据后,我将执行for in循环来解析并一次将其插入一行。
我用2000行进行了测试,该行花了5分钟来检索,解析和插入。一切进展顺利,但将来我可能会收到更多条目。 通常,我应该只在开始时进行一次完全同步,然后执行cron作业每5秒更新一次新条目。
由于本地数据库将进行定期备份,因此在最佳情况下,如果发生问题,我可以重新导入过去的本地备份并仅从那里同步丢失的条目。如果出现问题,并且需要重做大约20或40 000行的完全同步,这仍然是一次循环执行一行的有效选择吗?我知道这可能需要1个小时或更长时间,但这只是在最坏的情况下进行的,因此时间不是问题。还是有更好的方法做到这一点?
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。