如何解决dask数组步骤合并hdf5文件
我正在尝试使用 das kas 作为中介将多个 hdf5 文件合并为一个更大的 hdf5 文件。
这种方法是由许多独立用户推荐的,他们将我带到了 dask github 和 dask.org 页面。 在 dask.org 页面上,它提供了以下代码
for fn in filenames:
f = h5py.File(fn)
d = f['/data']
array = da.from_array( chunks=(1000,1000))
dask_arrays.append(array)
x = da.concatenate(dask_arrays,axis=0)
da.to_hdf5('myfile.hdf5','/y',y)
我试图在一个我称之为“hdf5_merger”的函数中实现这个:
def hdf5_merger(filenames)
for fn in filenames:
f = h5py.File(fn,'r')
d = f['d']
array = da.from_array( chunks=(1000,y)
对象 'fuilenames' 是一个 hdf5 文件列表,每个文件都是用 phc.hdf5_save_photon_hdf5 函数制作的,每个文件中包含对象的数据被简单地称为 'd'
可以在不返回任何错误的情况下加载合并函数,但是当我尝试运行它时它失败并说
KeyError: "Unable to open object (object 'd' doesn't exist)"
我也试过
d=f[‘/d’]
d=f[‘/data’]
这些都没有奏效 我可以说这个问题很容易解决,但它归结为缺乏我确定我可能非常基本的理解(实际上这似乎几乎每天都发生:)也许有一些我不知道的命名约定或者只是不清楚代码在 dask.org 页面上的显示方式暗示了什么,但没有公开说明
任何帮助将不胜感激
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。