如何解决Azure数据资源管理器缓慢地接收/失败
我正在尝试将一些数据摄取到ADX中,但看不到任何数据出现:
- 40个实木复合地板文件(从1Mb到550Mb,总共8GB)
- 使用事件网格从blob存储中
- 以自动扩展在D11 V2群集层上运行
- 摄取利用率保持100%的状态持续2天,然后降至0%
- 摄入潜伏期最多增加到24小时,然后下降
- 行数始终为0,数据库大小不会增加
- 操作日志显示很多故障:“操作”:DataIngestPull,“管理命令执行在'2020-09-08T06:39:18.1115065Z'超时”等。
- 诊断日志记录还显示失败:FailedIngestion,Blob已超过“ 2.00:00:00”重试时间或“ 10”重试次数,BadRequest_MessageExhausted
- 当我摄取一个小文件时,它可以工作并且数据显示出来
最糟糕的是,我无法取消摄取,但必须等待2天。有办法取消吗?
如何成功提取此数据?应该花这么长时间吗?
解决方法
由于每个摄取批次太大,因此摄取似乎正在超时。解决此问题的最佳方法是将Blob的原始数据大小(可能是近似大小)添加到Blob元数据中,如here所述。另外,您可以尝试减少数据库/表的批处理策略,如here所述(可以从1GB减少到500MB,如果不够的话可以进一步减少)。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。