如何解决如何在BigQuery中监控非常慢的数据加载
我正在使用Google API方法BigQueryClient.UploadJsonAsync将未压缩的JSON文件加载到C#中的BigQuery中。上载的文件范围从1MB到400MB。我已经上传了许多TB的数据,而最近几个月没有任何问题。但是两天以来,上传到BigQuery的速度似乎非常缓慢。
我能够以600MB / s的速度上传,但是现在我的最大上传速度为15MB / s。 我已经检查了我的连接,但在速度测试之类的连接测试中,我仍然可以超过600MB / s。
奇怪的是,BigQuery的负载吞吐量似乎取决于一天中的小时数。当达到PST 3PM时,我的吞吐量下降到接近5-10MB / s。
我不知道该如何调查。 有没有办法监视BigQuery数据加载?
解决方法
目前尚不清楚您是在测量从开始发送字节到插入加载作业的时间,还是从开始发送直到加载作业完成的时间。第一个主要是网络级别的吞吐量问题,而第二个还包括BigQuery服务的接收时间。您可以检查加载作业元数据以帮助解决这一问题。
如果您试图解决Speedtest等网站的网络问题,请确保选择合适的远程节点进行测试;默认情况下,相对于要测试的客户端,他们偏爱网络位置较近的东西。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。