有像＃spliter一样的东西吗？

如何解决有像＃spliter一样的东西吗？

我正在抓取https://www.patelco.org/search-results#stq=&stp=1，我要抓取所有页面，我有一个关于scrapy的基本概念，这是我正在使用的代码：

import scrapy
import json

class PatelcospiderSpider(scrapy.Spider):
    name = 'patelcospider'
    start_urls = ['https://www.patelco.org/search-results''#stq=&stp=1']
    def parse(self,response):
        columns = {
            "question": [],"answer": []
        }
        QUESTION_ANSWER_SELECTOR = ".st-ui-result"
        QUESTION_SELECTOR = ".st-ui-type-heading ::text"
        ANSWER_SELECTOR = ".st-ui-type-detail ::text"
        questions_answers = response.css(QUESTION_ANSWER_SELECTOR)
        for question_answer in questions_answers:
            question = question_answer.css(QUESTION_SELECTOR).getall()
            question = " ".join(question).strip()
            answer = question_answer.css(ANSWER_SELECTOR).getall()
            answer = " ".join(answer).strip()
            columns["question"].append(question)
            columns["answer"].append(answer)
            columns["link"].append(response.url)
        return columns

执行时不返回任何值。这是相关的输出：

2020-08-28 20:39:48 [scrapy.core.engine]信息：蜘蛛开了

2020-08-28 20:39:48 [scrapy.extensions.logstats]信息：检索到0页（以0页/分钟的速度），抓取0条（以0条/分钟的速度）

2020-08-28 20:39:48 [scrapy.extensions.telnet]信息：Telnet控制台正在听127.0.0.1:6023

2020-08-28 20:39:55 [scrapy.core.engine]调试：已抓取（200）https://www.patelco.org/search-results#stq=&stp=1>（引荐来源：无）

2020-08-28 20:39:56 [scrapy.core.scraper]调试：https://www.patelco.org/search-results>

{'问题'：[]，'答案'：[]}

2020-08-28 20:39:56 [scrapy.core.engine]信息：关闭蜘蛛（完成）

我认为问题在于Scrapy正在抓取https://www.patelco.org/search-results，而实际上没有任何回报。我做了很多搜索，但不知道如何解决。

谢谢。

解决方法

这是因为该页面是由javascript加载的。您可以在chrome开发工具中自行检查。

检查页面->面板右侧的三个点->更多工具->设置->调试器->禁用javascript。

有两种方法可以抓取动态内容。通过动态内容，我的意思是javascript正在使用HTTP请求来获取数据并将其显示在网页上。许多现代站点都以这种方式显示信息。这在抓取时提出了挑战。

重新设计HTTP请求
使用浏览器自动化

第一个始终是第一选择，请查看网站是否具有可以使用的API端点。快速，高效和可扩展。与浏览器自动化不同，这是万不得已的方法，或者功能过于复杂且没有可用的API。它很慢，对网站HTML的更改很脆弱，并且伸缩性很差。

幸运的是，您可以使用一个API端点。我怎么知道呢？再次使用chrome开发工具。

检查页面->网络工具-> XHR

XHR代表XML HTTP Request，任何涉及服务器始终执行API的操作，这些请求都进入开发工具的这一部分。

您可以看到“ search.json”

我们可以将此请求复制到将cURL命令转换为python的网站（curl.trillworks.com）

这是网站转换的代码。它提供了一种将请求转换为python字典等的有用方法。

import requests


data = {
  'q': '','page': '1'
}

response = requests.post('https://search-api.swiftype.com/api/v1/public/installs/Ty14DuZryzPDG_wzbyzh/search.json',data=data)
response.json()

现在，如果您复制请求，您还将获得标头，并且值得处理该请求。一些请求只需要一个简单的HTTP get请求，而没有任何头，数据，参数，cookie。其他人将需要更多。这里我们要做的就是在data参数中指定页码。

输出

{'record_count': 10,'records': {'page': [{'url': 'https://www.patelco.org/','sections': ['You can count on us','Better rates,more savings and all about YOU.','Our community','Join us','What are your dreams and goals?','Lower my debt','Build my savings','Purchase a home','Plan for the future','Manage my retirement',"Who we've helped",'UPGRADE MY HOME','SUPERIOR SERVICE','APPLY FOR A LOAN'],'title': 'Serving San Francisco Bay Area,Santa Rosa & Sacramento - Patelco Credit Union',.....

那里有很多信息，但是我们可以用它来做一个简单的scrapy Request来做同样的事情。

Scrapy的代码示例

def start_urls(self):
    url = 'https://search-api.swiftype.com/api/v1/public/installs/Ty14DuZryzPDG_wzbyzh/search.json'
    data = {
      'q': '','page': '1'
    }
    yield scrapy.Request(url=url,meta={'data':data},callback=self.parse)
def parse(self,response):
    response.json()

请注意，meta参数是一种确保请求中也包含我们要沿着HTTP请求发送的数据的方法。没有它，您将无法获得所需的正确JSON对象。

这里response.json()将JSON对象转换为python字典。由于在显示的字典中会出现嵌套，因此我倾向于使用request包考虑要显示的数据，然后再进行scrapy编码。

以此为例

response.json()['records']['page'][0]['title']

对应于输出

'Serving San Francisco Bay Area,Santa Rosa & Sacramento - Patelco Credit Union'

当您将JSON对象转换成字典时，通常会有很多嵌套，这就是为什么我使用请求包首先弄清楚它的原因。这些页面嵌套在response.json()['records']['page']

之后

然后，您需要考虑使用产生字典或最好使用项来存储所需数据的想法。如果不确定，请查阅有关草率的文档。

您还可以更改数据参数以请求更多页面以获取更多数据，但是我首先要考虑如何进行此操作。遇到困难时，很乐意为您提供帮助。

有像＃spliter一样的东西吗？

如何解决有像＃spliter一样的东西吗？

解决方法

输出

Scrapy的代码示例

相关推荐