使用Python抓取网站Futbin时如何更改平台?

如何解决使用Python抓取网站Futbin时如何更改平台?

我目前正在专门从此页面of player data获取来自Futbin的价格数据。我已经使用以下特定代码成功使用了bs4:

spans = soup.find_all("span",class_="ps4_color font-weight-bold")

这将从玩家页面收集所有PS4价格,但我也想获得Xbox和PC价格。要在网站上执行此操作,您必须从右上角的图标中手动选择它,但是从我可以告诉它的链接中,该链接指向相同的URL,但包含更新的价格数据。我敢肯定,肯定有比使用Selenium或类似程序包更简单的方法来抓取这些数据。

任何帮助将不胜感激!

解决方法

要更改其他平台的页面,请在您的请求中设置cookie=参数:

import requests
from bs4 import BeautifulSoup


url = 'https://www.futbin.com/20/players?page=1'
platforms = ['ps4','xone','pc']

for platform in platforms:
    print()
    print('Platform: {}'.format(platform))
    print('-' * 80)

    soup = BeautifulSoup( requests.get(url,cookies={'platform': platform}).content,'html.parser' )

    for s in soup.select('span.font-weight-bold'):
        print('{:<40} {}'.format(s.find_previous('a',class_="player_name_players_table").text,s.text))

打印:

Platform: ps4
--------------------------------------------------------------------------------
Lionel Messi                             2.5M 
Virgil van Dijk                          1.82M 
Cristiano Ronaldo                        3.2M 
Diego Maradona                           4.5M 
Pelé                                     6.65M 
Kevin De Bruyne                          1.95M 
Virgil van Dijk                          1.75M 
Lionel Messi                             2.18M 
Robert Lewandowski                       805K 
Cristiano Ronaldo                        3.08M 
Pelé                                     3.35M 
Kylian Mbappé                            2.62M 
Kevin De Bruyne                          1.21M 
Sadio Mané                               783K 
Kylian Mbappé                            2.66M 
Neymar Jr                                3.83M 
Diego Maradona                           2.19M 
Sadio Mané                               625K 
Alisson                                  148K 
N'Golo Kanté                             1.51M 
Robert Lewandowski                       269K 
Ronaldo                                  0 
Zinedine Zidane                          7.15M 
Lionel Messi                             4.6M 
Lionel Messi                             1.4M 
Alisson                                  143K 
Mohamed Salah                            459K 
Raphaël Varane                           847K 
Karim Benzema                            310K 
Luis Suárez                              407K 

Platform: xone
--------------------------------------------------------------------------------
Lionel Messi                             2.15M 
Virgil van Dijk                          1.65M 
Cristiano Ronaldo                        2.53M 
Diego Maradona                           4.07M 
Pelé                                     0 
Kevin De Bruyne                          1.73M 
Virgil van Dijk                          1.6M 
Lionel Messi                             1.9M 
Robert Lewandowski                       719K 
Cristiano Ronaldo                        2.51M 
Pelé                                     3.15M 
Kylian Mbappé                            2.27M 
Kevin De Bruyne                          1.02M 
Sadio Mané                               695K 
Kylian Mbappé                            2.24M 
Neymar Jr                                3.27M 
Diego Maradona                           1.61M 
Sadio Mané                               585K 
Alisson                                  153K 
N'Golo Kanté                             1.3M 
Robert Lewandowski                       247K 
Ronaldo                                  0 
Zinedine Zidane                          6.78M 
Lionel Messi                             4.26M 
Lionel Messi                             1.24M 
Alisson                                  130K 
Mohamed Salah                            470K 
Raphaël Varane                           725K 
Karim Benzema                            272K 
Luis Suárez                              351K 

Platform: pc
--------------------------------------------------------------------------------
Lionel Messi                             3.56M 
Virgil van Dijk                          2.5M 
Cristiano Ronaldo                        3.75M 
Diego Maradona                           4.3M 
Pelé                                     0 
Kevin De Bruyne                          2.52M 
Virgil van Dijk                          2.4M 
Lionel Messi                             2.86M 
Robert Lewandowski                       1.16M 
Cristiano Ronaldo                        3.75M 
Pelé                                     5.75M 
Kylian Mbappé                            3.35M 
Kevin De Bruyne                          1.4M 
Sadio Mané                               925K 
Kylian Mbappé                            3.3M 
Neymar Jr                                4.85M 
Diego Maradona                           1.98M 
Sadio Mané                               730K 
Alisson                                  179K 
N'Golo Kanté                             1.9M 
Robert Lewandowski                       400K 
Ronaldo                                  0 
Zinedine Zidane                          0 
Lionel Messi                             4.77M 
Lionel Messi                             2.3M 
Alisson                                  160K 
Mohamed Salah                            520K 
Raphaël Varane                           940K 
Karim Benzema                            370K 
Luis Suárez                              679K 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 &lt;select id=&quot;xxx&quot;&gt; SELECT di.id, di.name, di.work_type, di.updated... &lt;where&gt; &lt;if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 &lt;property name=&quot;dynamic.classpath&quot; value=&quot;tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams[&#39;font.sans-serif&#39;] = [&#39;SimHei&#39;] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -&gt; systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping(&quot;/hires&quot;) public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate&lt;String
使用vite构建项目报错 C:\Users\ychen\work&gt;npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-