如何解决缓存的TF数据集的漂移时间
我正在Tensorflow / Keras上进行典型的神经网络培训。我有一个由多个文件组成的数据集，并且对它们进行交织，定义批次，将其缓存，预取一个批次并重复它。
def read_datasets(pattern,numFiles,numEpochs=None,batchSize=None):
files = tf.data.Dataset.list_files(pattern)
def _parse(x):
x = tf.data.TFRecordDataset(x,compression_type='GZIP')
return x
dataset = files.interleave(_parse,cycle_length=numFiles,block_length=1,num_parallel_calls=numFiles)\
.map(lambda x: parse_tfrecord(x),num_parallel_calls=numFiles)
dataset = dataset.batch(batchSize).cache()
dataset = dataset.prefetch(buffer_size=1)
dataset = dataset.repeat(numEpochs)
return dataset
然后我只需要在健身循环中使用fit命令使用此数据集，并为它提供通过训练和验证数据集的正确步骤即可。
model.fit(train_data,epochs=epochs,steps_per_epoch=train_steps,validation_data=val_data,validation_steps=val_steps)
我在fit命令中添加了一些回调函数调用，但我认为它们与我的问题无关，因此我没有提及它们。 我在主循环中通过仿真更改了一系列功能，因此第一次使用功能1，然后使用功能2，然后使用功能3等进行训练。每次都创建训练（和验证）数据集只需更改一项功能，其他所有功能都完全相同（包括时期数和批量大小）。
问题在于仿真运行时间正在逐渐增加！例如，在训练前10个功能时首先以10秒/时完成，然后在接下来的9个功能中以11秒/时进行培训，然后在接下来的9个功能中训练以12秒/时完成。 ，然后在接下来的8个功能的训练中将速度提高到13秒/周。...这种增加是渐进的并且总是向上的，但不一定要经过固定次数的循环。
在将cache（）选项添加到数据集之前，我没有这个问题。使用cache（）大大减少了我的运行时间，但是这种行为非常奇怪，我想我做错了什么。 可能是什么原因？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。