如何解决PyTorch torchvision 数据集下载速度很慢
我在 colab notebook 中有以下代码块,用于从 torchvision 下载 EMNIST 数据集。有时我会随机收到一个错误提示
connectionError: HTTPConnectionPool(host='www.itl.nist.gov',port=80): Max retries exceeded with url: /iaui/vip/cs_links/EMNIST/gzip.zip (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f701d0936d0>: Failed to establish a new connection: [Errno 110] Connection timed out'))
因此,我制作了一个代码块,其中包含一个函数,如果尝试下载失败,该函数会调用自身(请参阅帖子底部)。有时下载实际上开始工作,但速度非常慢。进度条见下方截图
数据下载代码:
from torchvision import transforms,datasets
train_data = None
test_data = None
def load_data():
global train_data,test_data
try:
train_data = datasets.EMNIST("./data",split="balanced",train=True,download=True,transform=transforms.Compose([
transforms.ToTensor()
]))
test_data = datasets.EMNIST("./data",train=False,transform=transforms.Compose([
transforms.ToTensor()
]))
except:
load_data()
load_data()
print(train_data)
print(test_data)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。