如何解决您可以在“尝试/例外”中重试/循环吗?
我试图了解是否可以在Try / Except调用中设置循环,或者是否需要重组以使用函数。长话短说,花了几个小时学习Python和BeautifulSoup之后,我设法将一些代码放在一起,以抓取URL列表,将数据提取为CSV(现在将其更新为MySQL db)。该代码现在按计划工作,除了我偶尔遇到10054,要么是因为我的VPN打VPN,要么是源主机服务器偶尔使我跳动(我的循环有30秒的延迟,但有时还是会踢我)。
我大致了解了Try / Except结构,但是我不确定如何(或者如果可以)在其内部循环以再次尝试。我的基本代码用于获取URL,清理并解析我需要的表,如下所示:
for url in contents:
print('Processing record',(num+1),'of',len(contents))
if url:
print('Retrieving data from ',url[0])
html = requests.get(url[0]).text
soup = BeautifulSoup(html,'html.parser')
for span in soup('span'):
span.decompose()
trs = soup.select('div#collapseOne tr')
if trs:
print('Processing')
for t in trs:
for header,value in zip(t.select('td')[0],t.select('td:nth-child(2)')):
if num == 0:
headers.append(' '.join(header.split()))
values.append(re.sub(' +',' ',value.get_text(' ',strip=True)))
之后,仅将数据处理为CSV并运行更新sql语句。
我想做的是,如果HTML请求调用失败,请等待30秒,然后重试该请求,然后进行处理,或者如果重试失败X次,请继续并退出脚本(假设点我有一个完整的连接失败)。
是否可以在线执行类似的操作,还是需要将request语句变成一个函数并设置一个循环来调用它?必须承认,我还不熟悉Python如何与函数返回一起工作。
解决方法
我自己做了一个小例子来对此进行图形化,是的,您可以将循环放在try/except
块中。
from sys import exit
def example_func():
try:
while True:
num = input("> ")
try:
int(num)
if num == "10":
print("Let's go!")
else:
print("Not 10")
except ValueError:
exit(0)
except:
exit(0)
example_func()
这是一个非常简单的程序,需要输入,如果输入为10,则显示“ Let's go!”,否则它告诉您它不是10(如果它不是有效值,则将您踢出)。 >
请注意,在while
循环中,我考虑了必要的缩进,放置了try/except
块。您可以将此程序作为模型,并以自己的喜好使用。
您可以为重试添加一个内部循环,然后在其中放入try / except块。这是它的外观草图。您可以将所有这些内容放入函数中,然后将该函数调用放入其自己的try / except块中,以捕获导致循环退出的其他错误。
从requests exception hierarchy看,超时涵盖了多个可恢复的异常,对于您可能想捕获的所有内容都是一个很好的开始。像SSLError这样的其他事情不会因为您重试而变得更好,因此请跳过它们。您可以浏览列表以查看最适合您的情况。
import itertools
# requests exceptions at
# https://requests.readthedocs.io/en/master/_modules/requests/exceptions/
for url in contents:
print('Processing record',(num+1),'of',len(contents))
if url:
print('Retrieving data from ',url[0])
retry_count = itertools.count()
# loop for retries
while True:
try:
# get with timeout and convert http errors to exceptions
resp = requests.get(url[0],timeout=10)
resp.raise_for_status()
# the things you want to recover from
except requests.Timeout as e:
if next(retry_count) <= 5:
print("timeout,wait and retry:",e)
time.sleep(30)
continue
else:
print("timeout,exiting")
raise # reraise exception to exit
except Exception as e:
print("unrecoverable error",e)
raise
break
html = resp.text
etc…
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。