了解具有动态参数进行抓取的网络请求

如何解决了解具有动态参数进行抓取的网络请求

我有2个链接，需要从那里链接数据。

1. https://www.meetup.com/find/tech/?allMeetups=false&radius=5&userFreeform=Brisbane&mcId=c1000655&change=yes&sort=default&eventFilter=mysugg
2. https://www.meetup.com/find/tech/?allMeetups=true&radius=5&userFreeform=Canberra%2C+Australia&mcId=c1000660&change=yes&sort=recommended&eventFilter=mysugg

如您所见，最后有一个Show More按钮。最初，我使用Selenium并成功进行了剪贴。但是，在了解scrapy之后，我对仅使用requests和Network Requests模块感兴趣，因为它可以使事情变得更快。

我取得了一些进展。但是参数让我发疯。让我解释一下我不了解的内容。

对于第一个链接，在page source中，我提取的data-name的数目为127。 检查调试器，当我单击按钮时，我看到向XHR发出了请求

https://www.meetup.com/find/tech/?pageToken=default%7C100&allMeetups=false&keywords=&radius=5&userFreeform=Brisbane&mcId=c1000655&mcName=Brisbane%2C+AU&sort=default&__fragment=simple_search&op=

打开该链接并搜索data-name的唯一编号将得出100的计数。向下滚动到末尾后，新事件将与另一个请求一起添加

https://www.meetup.com/find/tech/?pageToken=default%7C200&allMeetups=false&keywords=&radius=5&userFreeform=Brisbane&mcId=c1000655&mcName=Brisbane%2C+AU&sort=default&__fragment=simple_search&op=

，data-name的计数为29。

我知道，如果使用正确的标头，则可以将结果作为JSON来获取，但是即使以这种格式获取，也不会有问题，因为我可以在{中使用Regex {1}}标签以获取所有事件。

接下来，监视第二个链接，我观察到有一个请求

https://www.meetup.com/find/?pageToken=recommended%7C100&allMeetups=false&keywords=Tech&radius=5&userFreeform=Canberra%2C+Australia&mcId=c1000660&mcName=Canberra%2C+AU&sort=recommended&__fragment=simple_search&op=search

，它返回了一种没有<p>的空响应。

现在，我有以下问题：

1. 如果将data-name增加到pageToken=recommended|100，则一次提取一页信息。如何获得首页响应，即我要抓取的URL？制作200在第二链接中无济于事，并且返回的响应较少。 pageToken to 0表示什么？
2. 我是否需要在程序中生成|请求URL？在这种情况下，我怎么知道从提供给我的链接中以这种格式创建URL的逻辑？如何调查JS以找到开发人员实际上是如何构成Ajax调用的URL的？
3. 为什么在第二个链接中，XHR从https://www.meetup.com/find/tech变为https://www.meetup.com/find/并以XHR作为关键字？同样，第二个链接中的Tech是allMeetups，在true请求中更改为false。尝试抓取页面时，我应该怎么做才能生成XHR这样的Ajax链接？

任何帮助，都感谢教程的链接。预先感谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com(将#修改为@）