如何解决批量加载H5PY文件
我已经创建了 200 个 H5PY 文件作为神经网络的训练数据。问题是加载的文件已达到我的内存可以处理的极限。我想将每个训练文件分成两批。假设一批有 69000 个条目,我只想在我的内存中只有 34500 个,训练网络,从我的内存中删除这些条目并加载另一半看起来像这样:
$html = 'This is a demo paragraph with a wrapped string ~here~,with another string ~~here~~.';
echo preg_replace_callback('/~~([\s\S]*?)~~(?!~)|~([^~]*)~/',function ($m) {
return !empty($m[1]) ? '<span class="classTwo">' . $m[1] . '</span>' : '<span class="classOne">' . $m[2] . '</span>';
},$html);
// => This is a demo paragraph with a wrapped string <span class="classOne">here</span>,with another string <span class="classTwo">here</span>.
h5py 中是否集成了一个函数,它允许我使用此功能并且我可以循环以便调用 .fit() 函数?
解决方法
我现在已经通过如下修改我的代码解决了我的问题:
for n in range(1,10):
for i in range(1): # added
inputdata=h5py.File("Data/IN"+str(n),"r").get("Tree")[()]
**inputdata=np.array_split(inputdata,2,axis=0)[i]**
inputdata=inputdata.astype(np.float32)
outputdata=h5py.File("Data/OUT"+str(n),"r").get("Tree")[()]
**outputdata=np.array_split(outputdata,axis=0)[i]**
outputdata=outputdata.astype(np.float32)
phi.fit(inputdata,outputdata,epochs=2,batch_size=32)
phi.save("trainedmodel_weights")
del inputdata
del outputdata
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。