如何解决亚马逊抓取脚本使用了超过10GB的互联网软件包.python硒
我在CSV文件中有2500个用于亚马逊产品的产品,并使用硒打开每个产品,以确保价格是否有所变化。 该脚本可以很好地工作,但是问题是需要10GB的互联网软件包,而且费用太多。
如何减少互联网的使用。
我正在使用Chrome网络驱动程序。
解决方法
您可以使用无头浏览器进行剪贴。由于没有要加载的GUI组件,它将大大减少您的Web流量。这样您最终将保存到Internet数据。
可以像无头的chrome浏览器一样创建驱动程序:
ch_Options = webdriver.ChromeOptions()
ch_Options.add_argument('--headless')
driver = webdriver.Chrome('<path to driver .exe>',options=ch_Options)
,
我不确定定价在Amazon中如何工作,但是每次读取文件时能否告诉您是否正在下载文件。将硒与chrome结合使用时,如果仅对2500个文件运行一次,则会占用过多资源。
您可能要检查是否有必要使用硒来下载CSV? 您可能会找到其他替代语言或库来更有效地处理CSV。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。