如何解决爬行登录网站,登录数据显示在重定向的URL中
简介
对于某些任务,我需要登录以获取有关某些产品的一些特殊信息。 我已经可以在某些页面上登录,但是在https://www.duif.nl/上我无法完成登录。我在控制台中认识到,登录过程后引用的链接确实包含我的登录数据,这与我之前登录的网站不同。
原因是什么? 这会引起我的问题吗?
我没有发现任何问题的例子
下面的代码只是一个非常基本且默认的“登录”蜘蛛
我的代码
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser
from ..items import ScrapyloginItem
class DuifLogin(scrapy.Spider):
name = "duiflogin"
start_urls = ['https://www.duif.nl/login']
def parse(self,response):
yield FormRequest.from_response(response,formdata={
'username' : '*****','password' : '*****',},callback=self.after_logging)
def after_logging(self,response):
open_in_browser(response)
card = response.xpath('//div[@class="row myaccountrow"]')
if card:
print('success')
else:
print(':(')
我的控制台
在浏览器中打开
这是我所看到的,但是当我去“登录”并按Enter时,什么也没发生,那也很奇怪
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。