如何解决Google云日志API和BigQuery Sink-重复和丢失的日志条目
我在Node.js中编写的GCP中具有云功能,该功能在发送发布/订阅消息之前使用Winston将日志条目写入堆栈驱动程序。然后将日志导出到BigQuery(使用标准接收器)。
从DataFlow->发布/订阅主题中触发云功能的速度相当高,即每秒约有500个云功能调用,同时运行着约1000多个实例。
问题是,在查看BigQuery时,我有两个重复的条目(实际上两次记录了相同的日志条目),而且我也知道运行正常时会丢失日志条目。
我知道日志记录阈值/项目为每秒1K个条目,但我没有达到这个阈值,但仍然有问题。我觉得Winston和/或Sink是根本问题。
有人认识到这一点或有解决方案吗?
Thx, CJ
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。