如何解决在具有不同允许域的Scrapy Crawlspider中添加多个开始URL的最佳方法是什么?
当前,我正在使用下面的代码添加多个起始网址(50K)。
start_urls=[]
allowed_domains=[]
df=pd.read_excel("xyz.xlsx")
for url in df['URL']:
start_urls.append(parent_url)
allowed_domains.append(tldextract.extract(parent_url).registered_domain)
但是,我认为这不会为每个网站保留不同的允许域。而且我还想通过每个链接传递一些元信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。