如何解决加快H5文件中的数据I / O
我有一个H5文件,其中包含一个大型数据集DATA
,1700000x224x224x3
。数据集未分块。也就是说,
import h5py
f = h5py.File('large_file.h5','r')
dset = f['DATA']
dset.chunks # <- empty
第一季度:这是明智的吗?
我有一个过程需要无限地将DATA
的条目读为f['DATA'][i,224,3]
。据我了解,H5PY自动缓存数据,旧块丢失的速率由rdcc_w0
标志给出,如果我要无限读取文件,则0值是最理想的。
Q2:我的没有块的H5文件会被缓存吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。