如何解决如何返回Scrapy Crawler的类类型?
我的starter.py中有此方法
def startSpider(spider_name,spider_class):
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})
runner = CrawlerRunner(get_project_settings())
runner.crawl(spider_name+"."+spider_class)
由于搜寻器发送类类型,因此未执行代码。
我得到这个错误。
'Spider not found: migros.migrosSpider'
似乎只是一个蜘蛛名,所以我该如何返回我的蜘蛛名和蜘蛛类。
解决方法
我找到了一种解决方案,并且效果很好。
name = 'spiders.'+spider_name
i = importlib.import_module(name)
class_ = getattr(i,spider_class)
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})
runner = CrawlerRunner(get_project_settings())
runner.crawl(class_)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。