如何解决使用python中的多个文件夹中的多个CSV文件训练Keras模型
我有八个文件夹,每个文件夹中有1300个CSV文件(3 * 50),每个文件夹代表一个标签,但是我不知道如何将数据输入到训练模型中。 仍然是CNN的初学者。
使用此link可以访问我的csv文件的一部分。
解决方法
使用Keras时,可以使用tf.data.Dataset
软件包,它可以帮助您完成想要实现的目标。
示例
这是示例代码,我摘自一个项目:
# matching a glob pattern!
dataset_pro_raw = tf.data.Dataset.list_files([f"./aclImdb/{name}/pos/*.txt"],shuffle=True)
dataset_pro_i = dataset_pro_raw.interleave(
lambda file: tf.data.TextLineDataset(file),# how many files should be processed concurently
cycle_length = 20,# number of threads to increase the performance
num_parallel_calls = 10
)
首先,我们通过tf.data.Dataset.list_files()
创建一个文件列表,还请注意,文件的顺序已经被重新排列。然后通过dataset_pro_raw.interleave()
遍历文件集,并使用tf.data.TextLineDataset()
读取文件的内容。
这样,您可以很好地从多个.txt文件或任何数据源加载数据。在开始使用时这是一个笨拙的方法,但是它具有非常好的优点。目前,我仅使用tf.data.Dataset
来生成火车数据。
有关tf.data.Dataset
的更多信息,您可能需要查看此link
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。