Scrapy Response返回空白

如何解决Scrapy Response返回空白

我开始在这里学习Scrapy，并且我在努力获得回复。 这是我的代码：

fetch("https://www.mtgstocks.com/analytics/mostplayed")

运行此命令后，我收到了一个预期的Crawled（200）。

但是，当我跑步时

view(response)

我得到的页面一直旋转并且永远不会加载。我在Stack Overflow上查找了可能的解决方案，他们提到有些站点需要用户。我什至用User_Agent做到了，结果也一样。

我也尝试过：

response.xpath('//td')
response.xpath('//tr')
response.xpath('.//*[@class="wrapper"]').text()
response.xpath('.//*[@class="text-center"]')

我对所有这些人都是空白。任何想法或建议，表示赞赏。

谢谢

解决方法

因此，这是一个严重依赖javascript的网站。我怎么知道的？好吧，它具有很多功能，但是要确定发出纯HTTP请求可以做什么和不能做什么，可以在浏览器中禁用javascript。在Chrome浏览器检查页面->单击三个点->更多工具->设置->禁用JavaScript。

您会看到进度轮旋转，因为所有信息均由javascript调用到API端点。响应呈现页面的内容。

要查看如何发出这些请求，请检查页面->网络工具-> XHR。有很多请求，我倾向于按大小排序，然后在单击其中一个请求时一个接一个地浏览，您会看到一个名为Preview的选项卡，用于预览数据。 XHR btw指XML HTTP Request，这是一个将数据从客户端传输到服务器的API。

我可以看到以数字命名的请求具有您所需的表数据。

这是一个例子

然后您可以模仿这些HTTP请求，javascript正在调用以获取所需的数据。该API实际上非常简单，它不依赖任何标题，参数，查询，cookie来获取数据。只需一个简单的HTTP get请求即可。

在chrome开发工具中，您可以看到请求URL，我通常会在请求包中使用它。您可以从此HTTP请求中获得一个JSON对象，然后可以像字典一样对其进行操作以获取所需的信息。您尚未指定数据需求。

这种方法称为重新设计HTTP请求，这是从网页获取动态内容的最有效方法。

在刮擦这样的东西

代码示例

def start_urls(self):
    url = 'https://api.mtgstocks.com/analytics/mostplayed/1'
    yield scrapy.Request(url=url,callback=self.parse) 

def parse(self,response):
    response.json()

输出

{'format': {'id': 1,'name': 'Legacy'},'mostplayed': [{'quantity': 660,'card': {'name': 'Brainstorm','print': {'id': 55408,'latest_price': {'date': 1598250758000,'avg': 0.5},'image': 'https://static.mtgstocks.com/cardimages/489717.png'}}},.......

解释

使用start_urls使用请求填充start_url的列表。在这里，我为第一个表指定第一个HTTP请求。像https://api.mtgstocks.com/analytics/mostplayed/1这样的URL可以使您访问页面上的其他表。

我正在执行抓取请求，并使用解析作为回调。 response.json()将JSON对象转换为python字典，但仅在scrapy v2.2 +中可用。然后，您可以使用它生成字典，也可以使用项目指定所需的数据。