如何解决损失减少,然后增加RoBERTa
我正在尝试使用拥抱面和我自己的vocab文件来预训练RoBERTa模型。我打印出每批的损失,并在第一个时期看到损失减少,然后以更高的值跳跃/收敛。我想知道是否有人可以给我一些有关为什么发生这种情况的见解。
我尝试了不同的热身/训练步骤(时间表),不同的学习率,不同的批次大小和不同的训练数据大小。在每次运行之前,我还对数据集进行了改组。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。