如何解决Python:azure-storage-blob需要6分钟才能将20MB文件下载到本地
我必须从Azure存储下载 .parqeat文件,并且必须分析数据。 因此,我开始将Python代码与azure-storage-blob库和Pandas一起使用来存储DataFrame和flask以在响应时创建API。 但是现在Azure存储中的文件大小已增加到30MB(每日文件),并且经过测试,将20MB文件下载到本地我花了6分钟,这是我付不起的,因为我必须分析一个月中每天的文件,每个将有20 MB。差不多有30 20MB大小。 有什么建议吗?
解决方法
你找到答案了吗?如果没有代码片段,就很难诊断您的问题。 Azure Blob 存储支持并行读取。如果您有 BatchServiceClient
服务,那就很简单了。否则,请尝试 Multiprocessing
模块。克尔。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。