加载速度与内存：如何从h5文件有效加载大型阵列

如何解决加载速度与内存：如何从h5文件有效加载大型阵列

我一直面临以下问题：我必须遍历num_objects = 897个对象，对于其中每个对象，我都必须使用num_files = 2120 h5个文件。文件非常大，每个文件的大小为1.48 GB，我感兴趣的内容是每个文件（v1，v2和{{1}中包含的3组数组，大小为256 x 256 x 256） }）。也就是说，循环看起来像：

v3

我目前加载它们的方式是在最里面的循环中执行以下操作：

for i in range(num_objects):
    ...
    for j in range(num_files):
       some operation with the three 256 x 256 x 256 arrays in each file

上述每次为每个对象加载文件的选项显然非常慢。另一方面，一次加载所有文件并将其导入词典中会导致过多的内存使用，并且我的工作被杀死。一些诊断：

• 上述方法每个文件，每个对象需要0.48秒，因此仅在此操作上花费的时间总计为10.5天（！）。
• 我尝试将f = h5py.File('output_'+str(q)+'.h5','r') key1 = np.array(f['key1']) v1=key1[:,:,0] v2=key2[:,1] v3=key3[:,2] 导出到npz文件，但实际上每个文件要慢0.7秒。
• 我将每个文件的key1，v1和v2分别导出到npz文件（即每个h5文件3个npz文件），但总共只节省了1.5天。

有人有其他想法/建议吗？我可以尝试提高速度，同时又不受过多内存使用的限制？

解决方法

据我了解，您有2120个.h5文件。您是否只读取每个文件的数据集f['key1']中的3个数组？ （或者是否有其他数据集？）如果仅/总是阅读f['key1']，则是您无法编程的瓶颈。使用SSD会有所帮助（因为I / O比HDD快）。否则，您将不得不重新组织数据。系统上的RAM数量将决定您可以同时读取的阵列数量。你有多少内存？

更改少量代码可能会提高速度。 v1=key1[:,:,0]将v1作为数组返回（与v2和v3相同）。无需将数据集f['key1']读入数组。这样做会使内存占用量增加一倍。 （顺便说一句，是否有理由将您的数组转换为字典？）

下面的过程仅通过从h5py v1,v2,v3对象中切片f['key1']来创建3个数组。它将使每个循环的内存占用减少50％。

f = h5py.File('output_'+str(q)+'.h5','r')
key1 = f['key1'] 
## key1 is returned as a h5py dataset OBJECT,not an array
v1=key1[:,0]
v2=key2[:,1]
v3=key3[:,2]

在HDF5端，由于您总是切出最后一个轴，因此块参数可能会改善I / O。但是，如果要更改块的形状，则必须重新创建.h5文件。因此，这可能不会节省时间（至少在短期内）。

,

根据@ kcw78的协议，据我的经验，瓶颈通常是与所需数据相比，您加载了太多数据。因此，除非需要，否则不要将数据集转换为数组，并且仅对所需部分进行切片（是否需要整个[:,0]或只是其中的一部分？）。

如果可以的话，还可以更改循环的顺序，以使每个文件只能打开一次。

for j in range(num_files):
    ...
    for i in range(num_objects):
       some operation with the three 256 x 256 x 256 arrays in each file

另一种方法是使用外部工具（如h5copy）在更小的数据集中提取所需的数据，然后在python中读取它，以避免python的开销（可能不会那么多）说实话。

最后，只要您的任务彼此相对独立，就可以使用多处理来利用CPU内核。您有一个示例here。

,

h5py是数据表示类，它支持大多数NumPy数据类型，并支持传统的NumPy操作（例如切片）以及各种描述性属性（例如shape和size属性）。

有一个很酷的选项，您可以使用启用了chunked关键字的create_dataset方法来代表数据块中的数据块：

dset = f.create_dataset（“ chunked”，（1000，1000），块=（100，100））

这样做的好处是您可以轻松调整数据集的大小，现在，就像您的情况一样，您只需要读取一个块，而不必读取整个1.4 GB的数据。

但是要注意分块的含义：不同的数据大小在不同的分块大小下效果最佳。可以使用autochunk选项自动选择此块大小，而不是通过点击和试用来选择：

dset = f.create_dataset（“ autochunk”，（1000，1000），chunks = True）

欢呼