如何解决出色的Python核心计算设计
我正在编写一个脚本,该脚本在各个网格点上加载时间序列的天气数据(分辨率为1分钟),然后每次计算地面温度的估算值。理想情况下,我希望脚本以以下方式运行:
for each gridpoint in gridpoint_list:
for each time in time_range:
wth = get_weather(gridpoint,time)
ground_temperature = calc_temperature(wth)
...
天气数据不适合存储,因此我无法在脚本开头将其全部加载到熊猫数据框中。我希望这些外在的事情在幕后处理,所以我不必重写脚本来分批处理例如几天以来,因为我也将在其他脚本中经常进行这种操作。
是否有一个很好的解决方案(dask代替熊猫会有用吗?)
编辑:天气数据存储为分区的Parquet数据集。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。