无法单击分页中的下一个按钮

如何解决无法单击分页中的下一个按钮

我正在使用scrapy-selenium和scrapy-硒，并且我无法处理分页，因为href仅包含＃符号。

class PropertyScraperSpider(scrapy.Spider):
    name = 'property_scraper'
    allowed_domains = ['www.samtrygg.se']



    def start_requests(self):
        yield SeleniumRequest(
            url='https://www.samtrygg.se/RentalObject/NewSearch',wait_time=3,headers=self.headers,callback=self.parse_links
        )
        

    def parse_links(self,response):
        cards = response.xpath("//div[@class='owl-carousel owl-theme show-nav-hover']/div/a")

        for card in cards:
            link = card.xpath(".//@href").get()

            print('\n\n:link',len(link))

            yield SeleniumRequest(
                url= link,callback=self.parse,)
        next_page = response.xpath("//a[@id='next']/@href").get()

        print('\n\n\nNEXT_PAGE',next_page)
        if next_page:
            absolute_url = f'https://www.samtrygg.se/RentalObject/NewSearch{next_page}'
            yield SeleniumRequest(
                url=absolute_url,callback=self.parse_links
            )
            
    def parse(self,response):
        pass

我需要有关此分页问题的帮助。我该如何处理？任何帮助将不胜感激。

解决方法

打开https://www.samtrygg.se/RentalObject/NewSearch

时，如果您查看网络浏览器发出的请求，则该网站使用的API是可见的

API URL：https://www.samtrygg.se/RentalObject/SearchResult?search=sverige&neLat=&neLng=&swLat=&swLng=

您只需使用Scrapy向API URL发出单个请求即可获取所有列表。

该网站似乎没有任何实际的“分页”。它只会在第一个请求上加载所有数据，然后进行一些前端操作以显示部分结果，具体取决于用户所在的“页面”。

在Scrapy中处理动态内容

瑞安说的是正确的。为了对此进行扩展，可以通过几种方式来获取动态内容。

通过重新设计HTTP请求

到目前为止，这是捕获动态内容的最佳方法，它比硒最有效且不那么脆弱。这基于javascript是否触发HTTP请求以获取网页数据。在这种情况下，应该并且应该首先尝试，然后再采用其他方式

使用启动画面（浏览器活动）

Scrapy有一个集成了飞溅的中间件。启动预渲染页面，以便能够访问JavaScript加载的HTML。它还具有一些浏览器活动功能。与硒相比，劳动强度较小，但仍然是浏览器活动。

使用selenium_scrapy（浏览器活动）

这是您在此处尝试的解决方案，问题是，它实际上并没有提供很多选项来执行复杂的浏览器活动。因此，它的真正目的是能够获取已被JavaScript真正加载的HTML。

在中间件中使用硒（浏览器活动）

您可以使用中间件使用完整的selenium包来过滤请求。当没有其他选择，并且您希望每个请求都可以有东西时，这是可以的。或者您想根据您提出的请求类型对其进行自定义

在蜘蛛脚本中直接使用硒。（浏览器活动）

当所有其他选项均不可用并且您确实需要针对脚本的特定部分进行复杂的浏览器活动并且无法使用请求进行覆盖时，这是我认为的最后选择。

重新设计请求

因此，您现在对它是一个基本的了解。您的浏览器（我更喜欢chrome）可以访问浏览器显示的所有请求。如果您查看页面->网络工具-> XHR，将看到所有AJAX请求（通常是API端点所在的位置）。

您可以看到所有请求，按大小排序通常会起作用，因为通常数据将是一个较大的请求。单击请求时，您可以访问其发送的标头，响应的预览以及响应。

因此，在这里我们可以预览您可能需要的数据。然后，我将以cURL的形式复制此请求，并将其输入到curl.trillworks.com之类的网站中。

如果需要进行正确的Scrapy请求，这将为您提供标头，参数和cookie。在这种情况下，您实际上只需要一个参数即可模拟HTTP请求。我倾向于使用请求包来满足我的实际需求，因为复制请求会为您提供请求中的所有内容，如果您不需要的话。

我检查是否有API，但没有找到。

因此，在这种情况下，如果您正在使用Selenium，则需要检查下一页按钮是否可用，如果可以，则单击它，然后将HTML标记插入到数组中。

示例：


responses = []
next = driver.find_elements_by_xpath("XPATH")
while len(next) > 0:
    next.click()
    responses.append(driver.page_source)

亲切的问候，艾哈迈德（Ahmed）

import scrapy
import json
 
NIFTY_FIFTY = "https://www.samtrygg.se/RentalObject/SearchResult?search=sverige&neLat=&neLng=&swLat=&swLng="
 
 
class LiveSpider(scrapy.Spider):
    name = "esos_nortes"
    start_urls = [NIFTY_FIFTY]
    allowed_domains = ["www.samtrygg.se"]
 
    # Custom Settings are needed to send the User Agent.         
    custom_settings = {
        'USER_AGENT' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
 
    def parse(self,response):
        json_response = json.loads(response.body.decode("utf-8"))
        
        # We want the full first 25 addresses,for example:
        for firsts_25 in range(24):
            print(json_response['SearchResult'][firsts_25]['FullAddress'])

NIFTY_FIFTY url 是按照 AaronS 的解释获得的，观察浏览器的工具

无法单击分页中的下一个按钮

如何解决无法单击分页中的下一个按钮

解决方法

在Scrapy中处理动态内容

重新设计请求

相关推荐