如何解决在postreSQL / TimescaleDB中插入批量数据并管理错误
我有一个脚本,可以从InfluxDB中选择行,然后将其批量插入TimescaleDB中。
我每2000行插入一次数据,以使其更快。
当我遇到一个错误时,所有2000行都会被忽略。是否可以插入1999行,而忽略失败的行?
解决方法
由于PostgreSQL实现了ACID事务,因此会在发生错误时回滚整个事务。事务的最小粒度是一个语句,例如带有批量值的INSERT INTO
语句,这是默认设置。因此,如果发生故障,则无法忽略它并提交其余部分。
我假设您使用INSERT INTO
statement。它提供了ON CONFLICT
子句,如果观察到的错误是由于冲突引起的,则可以使用该子句。
另一种解决方法是移入临时表,然后在清理后插入超表。
顺便说一句,您是否希望Outflux tool from Timescale可以帮助您?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。