如何解决您可以从多个文件中插入tf.data数据集吗?
我目前有一个数据集,该数据集分为三种不同的npy文件类型:一种包含所有x的浮点型变量,一种包含所有x的整型变量,另一种包含所有的y标签。
要遍历所有文件,我像这样用生成器创建了tf.data数据集
def tf_data_generator(filelist_float,filelist_int,filelist_y,batch_size=4096):
i=0
while True:
if i == len(filelist_y):
i = 0
indicies = np.arange(len(filelist_float))
np.random.shuffle(indicies)
filelist_float
else:
xf = np.load(filelist_float[i])
xi = np.load(filelist_int[i])
y = np.load(filelist_y[i])
filefinish = False
fileIndex = 0
# In case files have different lengths
fileEnd = np.min([xf.shape[0],xi.shape[0],y.shape[0]])
while not filefinish:
if fileIndex + batch_size >= fileEnd:
yield np.concatenate((xf[fileIndex:fileEnd],xi[fileIndex:fileEnd]),axis=1),y[fileIndex:fileEnd]
filefinish = True
else:
yield np.concatenate((xf[fileIndex:fileIndex+batch_size],xi[fileIndex:fileIndex+batch_size]),y[fileIndex:fileIndex+batch_size]
fileIndex += batch_size
i+=1
training_generator = tf.data.Dataset.from_generator(tf_data_generator,args = training_files_dir,output_types = (tf.float16,tf.int16))
我的问题是,如果交错执行此过程是否会更快,如果可以,我可以使用这三个单独的文件来完成此操作,还是必须将它们全部附加到一个文件中?需要注意的一件事是,每个npy文件都可以加载到内存中,但是会有超过10,000个npy文件,因此我无法将所有文件都加载到内存中。
提前感谢任何想法!
解决方法
事实证明,是的,您绝对可以。如果有人好奇或被卡住,这是我的TF2
在 call 函数中,生成器仅接收X_float_input文件之一,并使用该文件查找相应的X_int_input和Y_input文件。
class generator:
def __call__(self,file,batch_size): #X_float_input.npy
actual_file = file.decode("utf-8")
xf = np.load(actual_file)
xi = np.load(actual_file.replace("float","int"))
y = np.load(actual_file.replace("X_float","Y"))
filefinish = False
fileIndex = 0
# In case files have different lengths
fileEnd = np.min([xf.shape[0],xi.shape[0],y.shape[0]])
while not filefinish:
if fileIndex + batch_size >= fileEnd:
yield np.concatenate((xf[fileIndex:fileEnd],xi[fileIndex:fileEnd]),axis=1),y[fileIndex:fileEnd]
filefinish = True
else:
yield np.concatenate((xf[fileIndex:fileIndex+batch_size],xi[fileIndex:fileIndex+batch_size]),y[fileIndex:fileIndex+batch_size]
fileIndex += batch_size
# training_files_dir = ["X_float_input_1.npy","X_float_input_2.npy"]
training_generator = tf.data.Dataset.from_tensor_slices(training_files_dir)
training_generator = training_generator.interleave(lambda filename: tf.data.Dataset.from_generator(
generator(),output_types=(tf.float16,tf.int16),args=(filename,BATCH_SIZE,)),num_parallel_calls=tf.data.experimental.AUTOTUNE).prefetch(tf.data.experimental.AUTOTUNE)
training_generator = training_generator.shuffle(10000,reshuffle_each_iteration=True).repeat(EPOCHS)#.prefetch(tf.data.experimental.AUTOTUNE).cache()
但是要注意的一件事是,您需要使用时期数来调用repeat函数,否则生成器将不会更新。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。