如何解决在我的scala代码中添加每次重试之前的等待时间
我有一个火花连接器笔记本,“将表导出到数据库”,可以将火花表数据写入Azure SQL数据库。我有一个主笔记本,该笔记本调用spark连接器笔记本并行编写许多表。如果复制失败,则我的主笔记本中有一个重试部分,可以重试导出。但是,这会导致数据库重复,因为原始数据库失败并不会立即取消连接。我想在每次重试之前添加一个等待时间。我该怎么办?
split
解决方法
添加Thread.sleep是解决方案
def runWithRetry(path: String,timeout: Int,parameters: Map[String,String] = Map.empty[String,String],maxRetries: Int = 2) = {
var numRetries = 0
while (numRetries < maxRetries){
tryNotebookRun(path,timeout,parameters) match {
case Success(_) => numRetries = maxRetries
case Failure(_) => {
Thread.sleep(30000)
numRetries = numRetries + 1
}
}
}
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。