如何解决为什么循环学习率调度器会导致性能变差?
使用没有循环学习率的 SGD:
optimizer = torch.optim.SGD(params,lr=1e-3,momentum=0.9,weight_decay=1e-1)
并使用具有循环学习率的 SGD:
optimizer = torch.optim.SGD(params,weight_decay=1e-1)
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer,base_lr=1e-3,max_lr=1e-2)
我在 scheduler.step() 之前做 optim.step()。
使用 LR 调度器时,准确性和损失似乎会左右摇摆。这是因为我使用 lr 调度程序错误还是只是超参数?如果是后者,什么是好的使用范围?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。