如何解决无法获取Python请求GET以与spitogatos.gr
我一直在尝试从 www.spitogatos.gr 抓取数据,但是没有运气。 我的代码如下所示:
import requests
headers={
'Host': 'www.spitogatos.gr','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0','Accept': 'application/json; charset=utf-8','Accept-Language': 'en-US,en;q=0.5','Accept-Encoding': 'gzip,deflate,br','Referer': 'https://www.spitogatos.gr/','Content-Type': 'text/plain; charset=utf-8','Origin': 'https://www.spitogatos.gr'
}
url = "https://www.spitogatos.gr/search/results/residential/sale/r100/m2007m/propertyType_apartment/onlyImage"
req = requests.get(url,headers=headers)
print (req)
print (req.content)
尽管我得到的响应状态为200,但没有得到任何有用的内容,而是得到了HTML消息:
原谅我们的打扰当您浏览有关您的某些信息时 浏览器使我们认为您是机器人。这有几个原因 可能会发生:
您已在网络浏览器中禁用了JavaScript。您是超级用户 以超人类的速度浏览该网站。你已经禁用了 您的网络浏览器中的Cookie。第三方浏览器插件,例如 Ghostery或NoScript阻止了JavaScript的运行。 ...
现在,我看了一下Firefox,看看它发送了什么样的请求,尽管它发送了POST请求,但我确实复制了Firefox随其发送的Cookie。所以我的标题看起来像:
headers={
'Host': 'www.spitogatos.gr','Origin': 'https://www.spitogatos.gr','Cookie':'PHPSESSID=iielr7e8boibudjmln9ubd3i62; spitogatosS=areaIDs%255B0%255D%3D2007%26propertyCategory%3Dresidential%26listingType%3Dsale; currentCurrency=EUR; spitogatosInfoBar_shortCuts=false; openedTabs=; _ga=GA1.2.1557987790.1597249012; _gid=GA1.2.507964674.1597249012; _gat_UA-3455846-10=1; _gat_UA-3455846-2=1; _hjid=dfd027d6-e6f1-474c-a427-c26d5f2ca64c; _cmpQcif3pcsupported=1; reese84=3:T2t/w3VdpNG5w9Knf78l7w==:Gg20L4RyGJffieidEn4Eb1Hmb3wyAtPQfmH/5WYHWfKjzLmjhkGCoTR0j5UUmKxIbkzZltWBeJ6KaPVCFa5qiaddz2Cn6OltrBdp…2YIriDYTOwLMNNxEFPDPkL/Lw2cGC0MwJ3uUg6kSP/VgPp/AYkIcVjXLgqjSwmAdGl4oQDyrAKDpn9PcN/fWSUjPrtAOAJzkWcZ7FPCfvcsnAo9oSNpXtAaZ0JLzgMKXqQqP8Jrakjo4eL9TSdFKIVEJZos=:eBpByDUvhUkR0pGwgnYacTV3VeYzKEi+4pJpI3mhQ6c=; _fbp=fb.1.1597249012911.16321581; _hjIncludedInPageviewSample=1; eupubconsent=BO4CN1PO4CN1PAKAkAENAAAAgAAAAA; euconsent=BO4CN1PO4CN1PAKAkBENDV-AAAAx5rv6_77e_9f-_fv_9ujzGr_v_e__2mccL5tn3huzv6_7fi_-0nV4u_1tfJdydkh-5YpCjto5w7iakiPHmqNeZ1nfmz1eZpRP58E09j53zpEQ_r8_t-b7BCHN_Y2v-8K96lPKACA; spitogatosHomepageMap=0'.encode('utf8')
}
现在,当我执行此请求时,请求有时会工作,有时还会给我以上消息。因此,我一直在刷新Firefox并将Cookie复制到我的python脚本中。 这是一个大热门。
我也一直在尝试复制firefox的确切POST请求(相同的数据,参数和标头),但这给了我相同的错误消息。
无论我执行多少请求或刷新,Firefox似乎都没有此问题。
有人可以帮我吗? 谢谢
解决方法
指定User-Agent
和Accept-Language
每次都能得到正确的响应(例如,尝试将User-Agent
标头更改为Linux标头):
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:79.0) Gecko/20100101 Firefox/79.0','Accept-Language': 'en-US,en;q=0.5'
}
url = 'https://www.spitogatos.gr/search/results/residential/sale/r100/m2007m/propertyType_apartment/onlyImage'
print( requests.get(url,headers=headers).text )
,
我已经解决了问题:答案实际上非常简单。造成阻塞的原因是“ adblocker Ultimate”。 因此,如果您有一些添加阻止程序,则可以尝试停用它们,只是为了看看,因为当您使用它们时,该网站会将您标识为机器人。 但要知道,我有3个添加的阻止程序(addblock plus,ublock起源和adblocker Ultimate),似乎只有adblocker Ultimate(最近才安装,而我几个月以来就安装了其他)造成了麻烦。 如果您处于同一情况,我希望该解决方案也能为您服务;或可以帮助其他人。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。