如何解决摇摇欲坠地用反应堆在不同的时间执行不同的蜘蛛
我想单击django网站上的一个按钮,我的蜘蛛应该开始抓取。我尝试使用CrawlerProcess,但是由于使用的蜘蛛不同。我决定使用CrawlerRunner。第一次抓取后一切正常,但第二个过程给了我这个错误。
twisted.internet.error.ReactorNotRestartable
我尝试此主题的解决方案: ReactorNotRestartable error in while loop with scrapy
因此,我尝试使用以下代码作为解决方案,但搜寻器从未停止,并显示ReactorAlreadyRunning
def test():
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})
runner = CrawlerRunner(get_project_settings())
d = runner.crawl(myspider.My_Spider)
d.addBoth(lambda _: reactor.stop(stop_after_crawl=False))
reactor.run()
这不是让我爬行另一只蜘蛛。那么如何在不同时间在网站上运行多个Spider的爬网?
解决方法
本主题可帮助我解决问题。我只需要安装 crochet 并在代码上方添加 setup()。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。