如何解决用 python 抓取一个杂乱的 javascript-heavy 网站
我试图从这个页面抓取家庭链接：
https://www.sreality.cz/en/search/to-rent/apartments?page=2
例如，对于我想要获取的第一套公寓的链接：
然而，该网站对 javascript 的影响很大。通过使用 requests.get() 我只获得了无信息的 html 代码块：
49
1
50
2
53
5
因此，问题是，如何对此类网站进行一些简单的抓取活动？
预先感谢您的帮助。
解决方法
我认为该网站没有公共 API，但查看网络选项卡中的 API 调用，我可以获取您需要的详细信息并将其设为链接，请查看以下代码。
如果您有任何问题，请告诉我 :)
import time
import requests
page=2
numberofresults=20
epochmiliseconds=round(time.time() * 1000)
paramsdict={
"category_main_cb":1,"category_type_cb":2,"page":page,"per_page":numberofresults,"tms":epochmiliseconds
}
data=requests.get("https://www.sreality.cz/api/en/v2/estates",params=paramsdict).json()
for lead in data["_embedded"]["estates"]:
locality=lead["seo"]["locality"]
name=lead["name"]
hash_id=lead["hash_id"]
typedata=[s for s in name.split(" ") if "+" in s][0].replace("\u00a0"," ").split(" ")[0]
print(f'https://www.sreality.cz/en/detail/lease/flat/{typedata}/{locality}/{hash_id}'))
输出：
首先询问网站，他们是否提供任何 API 来获取所需的信息。
在抓取期间处理javascript，仅请求将不起作用。您应该只使用 Selenium 或将 scrapy-selenium 结合使用。这两个允许在抓取期间加载 javascript。
如果您有任何其他问题，请随时提问。