如何解决哪个循环更有效:通过单个Splash脚本运行整个循环,还是通过Scrapy解析循环重复Splash脚本?
我有一个Lua脚本,它将通过一个Java脚本沉重的网页。代码类似于:
- 通过表单输入信息
- 设置页面的一些设置
- 在行中循环
- 重复浏览页面
或者,我可以为每个页面使用一个Splash脚本,并为每个页面从头到尾重复该脚本。其中包括步骤1和2。
使用包含单个Splash脚本的重复scrapy解析方法在页面之间循环。对于每个页面,使用启动脚本运行parse方法:
- 通过表单输入信息
- 设置页面的一些设置
- 在行中循环
我觉得标准分页无法正常工作,因为URL不会在页面之间变化。因此,如果要使用循环浏览特定的页码,则必须导航到该页码 不仅刮擦而且飞溅,而不仅仅是飞溅。
有什么想法更有效?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。