如何解决pytroch多数据集无法发布?
我想在pythorch上实现Word2vec。由于数据太大,无法立即加载到内存中,因此我将数据拆分为几个数据文件。每次使用数据时,我都会加载数据并创建一个数据集和一个不带文件的数据加载器(此处使用数据加载器进行随机播放并获取小批量)。但是,在完成一些迭代(完全使用了数据文件)之后,我无法通过数据文件释放数据集,而该数据文件将一直保持内存,如何释放数据集。代码如下所示:
for file_id in range(0,file_nums):
dataset = MyDataset(file_paths[file_id])
dataloader = DataLoader(dataset,batch_size=args.mb,shuffle=True)
for minibatch in dataloader:
iword,owords,opower = minibatch
loss = sgns(iword,opower)
optim.zero_grad()
loss.backward()
optim.step()
loss.detach()
del dataset
gc.collect() # dataset can not be released
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。