如何解决使用Scrapy Spider发送请求标头以避免403响应状态
我正在向JMeter WebDriver Sampler发送请求,但收到403
响应。我们如何通过抓痒的蜘蛛发送请求标头,以便获得200
响应?
此外,网站还会通过新请求更新Cookie。当我们提出新要求时,是否可以用刮擦的蜘蛛轮换饼干?
# -*- coding': 'utf-8 -*-
import scrapy
class MainSpider(scrapy.Spider):
name = 'main'
allowed_domains = ['11880.com']
start_urls = ['https://www.11880.com/suche/makler/deutschland']
def parse(self,response):
print(response.body)
希望获得一些答案。
致谢
解决方法
这意味着没有访问权限,请检查您通过的标头性能。这不正确
,覆盖start_requests()
方法并传递headers
参数。
import scrapy
class MainSpider(scrapy.Spider):
name = 'main'
allowed_domains = ['11880.com']
start_urls = ['https://www.11880.com/suche/makler/deutschland']
headers = {
'header1': 'value1','header2': 'value2'
}
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url=url,callback=self.parse,headers=self.headers)
def parse(self,response):
print(response.body)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。