如何解决grequests发送多线程POST请求并获得对每个请求的响应
我一直在尝试处理请求和多线程。我已将requests
与ThreadPoolExecutor
一起使用,但事实证明是这样。由于阻塞或无阻塞IO
这是代码。我在用:
def request_handler(key):
page=requests.post(
'https://xxxxxx/website_link',#Link will remain same
headers=requestHeader,data=key+'POST DATA TO BE SENT') # key will be merged in POST data
print(key,threading.get_ident(),page.elapsed.total_seconds())
# Store the response in the database
keywords=['ABC','XYZ',......]
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
executor.map(request_handler,keywords)
我认为请求可以解决此问题,我找不到确切的解决方案。我已经看到请求一次接收多个URL。但就我而言,链接将保持不变,只是 POST 请求中的数据将被更改。 另外,如何获得每个关键字的单独响应并在我的代码中进行处理。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。