如何解决有没有办法使用python3将获取请求从同步更改为异步或更快的过程?
我的脚本执行速度太慢,我想对其进行更改,使其使用异步。我有100,000个url的文本文件,想更快地通过http get请求。谢谢
import requests
from datetime import datetime
def run():
with open('input.txt','r') as f,\
open('output.txt','a') as out,\
requests.Session() as s:
for url in f:
try:
data = s.get(url)
except Exception:
print(f'{url} failed')
continue
print(data.text,file=out)
startTime = datetime.now()
run()
print(datetime.now() - startTime)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。