【C# - 爬虫】使用Selenium实现爬虫，获取近七天天气信息包含完整代码

分类：Selenium作者：编程之家用户

目录

前言

  • 提示：爬虫本身并不违法，所有爬虫都应遵守Robots协议，虽然Robots协议并不是强制性要求，但由此可能引发法律纠纷等问题。
  • 如非必要，我们在使用爬虫过程中，也应该尽量避免大量，快速反复请求网站，造成网站资源占用，甚至造成网站服务器的宕机，请文明使用爬虫;
  • 需要了解更多Robots协议详情请参考：Robots协议
  • 想要查看网站Robots协议，可以在网站域名后添加/robots.txt；例如CSDN的Robots协议就是：https://www.csdn.net/robots.txt

一、Selenium简介

  • Selenium开始并不是用于爬虫，而是一款自动化测试工具，它可以直接运行在浏览器中，模拟用户操作，支持的浏览器包括IE（7, 8, 9, 10, 11），Firefox，Safari，Google Chrome，Opera，Edge等。
  • 这个工具的主要功能包括：测试与浏览器的兼容性(测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上)。测试系统功能(创建回归测试检验软件功能和用户需求)。
  • 支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

二、浏览器驱动

1.浏览器驱动参考

浏览器支持的操作系统维护者下载问题追溯
Chromium/ChromeWindows/macOS/LinuxGoogle下载Issues
FirefoxWindows/macOS/LinuxMozilla下载Issues
EdgeWindows/macOSMicrosoft下载Issues
Internet WindowsWindows/macOS/LinuxSelenium Project下载Issues
SafarimacOSHigh Sierra and newer Apple内置Issues

注意: Opera驱动程序不支持w3c语法, 因此我们建议使用chromedriver来处理Opera. 请参见Opera浏览器的代码示例
下载版本以自己安装的浏览器版本为主，我这里以 Windows10 Chrome 103.0.5060.134为例

2.Windows下载Chrome驱动

在这里插入图片描述

三、代码实现

1.新建控制台项目WeatherWebCrawler

在这里插入图片描述

2.选择.NET 6.0

.NET 6.0和.NET Core 3.1最大区别是Program.cs中Main函数的取消，该代码在NET Core 3.1中也可使用

在这里插入图片描述

3.安装NuGet包

命令：Install-Package Selenium.WebDriver -Version 4.3.0

在这里插入图片描述

4.将下载好的驱动放到项目生成目录下

没有目录的把项目生成下就有了，注意不是项目根目录，而是项目生成的目录下；
或者知道自己放在哪个目录，代码中driverServicePath改成文件夹路径也行，路径只到文件夹，不要包含驱动文件

在这里插入图片描述

5.编写代码

网站地址
首先拿到页面的url，根据需求选择想要城市的url，当前也可以拿到全部城市，用xml或者配置文件可动态选择，这里就不过多展开，等有时间后面会单独出一篇文章详解，代码中是以我当前所在地为例。

  • ①选择自己的需求城市
  • ②选择七天
  • ③复制网站地址

    在这里插入图片描述


    代码实现打开浏览器，并进入网站
using OpenQA.Selenium.Chrome;

//驱动路径（注意不要包含驱动文件）
string driverServicePath = Path.Combine(Directory.GetCurrentDirectory(), "chromedriver_win32");
//创建驱动服务
ChromeDriverService service = ChromeDriverService.CreateDefaultService(driverServicePath);
//实例化浏览器驱动
ChromeDriver driver = new ChromeDriver(service);

//页面地址
string url = "http://www.weather.com.cn/weather/101280601.shtml";
//打开页面
driver.Navigate().GoToUrl(url);

运行成功就可以看到程序自己打开浏览器了，并且有一行标识：Chrome 正受到自动测试软件的控制。

在这里插入图片描述


接着找到七天天气这块元素

在这里插入图片描述

提示：class中带有空格的，只能用By.CssSelector获取元素
这里需要一点点前端知识，需要了解的同学可以前往：CSS选择器

扩展知识
不会前端的可以直接获取想要的元素的XPath：

  • ①在浏览器按F12打开开发者工具，点击带有鼠标箭头样的图标
  • ②鼠标在页面上选择自己需要的元素，并点击
  • ③在Elements中鼠标右键选中元素的html代码
  • ④选择Copy
  • ⑤选择Copy XPath
  • 代码中使用By.XPath("XPath")，粘贴复制的XPath路径就ok了

    在这里插入图片描述


    获取七天天气
//获取七天天气
ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.CssSelector("li[class^='sky skyid'"));

获取每一天天气信息

Console.Out.WriteLineAsync("\n********************************************************");
Console.Out.WriteLineAsync("\t\t近七天天气");
//输出每天天气信息
foreach (var item in sky)
{
    //天气信息中的日期
    string date = item.FindElement(By.TagName("h1")).Text;
    //天气信息中的天气描述
    string wea = item.FindElement(By.CssSelector("p[class='wea']")).Text;
    //天气信息中的气温
    string tem = item.FindElement(By.CssSelector("p[class='tem']")).Text;
    //天气信息中的风向
    string win = item.FindElement(By.CssSelector("p[class='win']>em>span:nth-child(1)")).GetAttribute("title");
    //天气信息中的风力
    var wins = item.FindElement(By.CssSelector("p[class='win']>i")).Text;
    Console.Out.WriteLineAsync($"\n{date}天气信息:\n描述：{wea}\n气温：{tem}\n风向：{win}\n风力：{wins}");
}
Console.Out.WriteLineAsync("********************************************************");

可以看到控制台输出了七天天气信息，但是输出了很多没用得信息，看着很乱

在这里插入图片描述

在平时开发过程中，我们其实没必要每次都打开浏览器，这速度非常缓慢，我们可以设置浏览器属性，想了解其他的设置项可以前往Chrome设置项

//浏览器设置项
ChromeOptions options = new ChromeOptions();
options.AddArgument("--headless");//无头模式（不打开浏览器）
options.AddArgument("--no-sandbox");//禁用沙箱（Linux下我试了只有加上该属性才能启动成功）
options.AddArgument("--incognito");//隐身模式（无痕模式）
options.AddArgument("--disable-gpu");//禁用GPU加速
options.AddArgument("--disable-gpu-program-cache");//禁用GPU程序缓存
options.AddArgument("--log-level=3");//控制台舒服信息非常多，日志级别设置高点只会输出失败的日志信息，日志的最低级别（INFO = 0, WARNING = 1, LOG_ERROR = 2, LOG_FATAL = 3）
//实例化浏览器驱动
ChromeDriver driver = new ChromeDriver(service, options);

再次启动，浏览器没有打开了，而且可以看到控制台日志信息少了很多输出信息，这样看着舒服多了

在这里插入图片描述

四、完整代码

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using System.Collections.ObjectModel;

#region 实例浏览器驱动
//驱动路径（注意不要包含驱动文件）
string driverServicePath = Path.Combine(Directory.GetCurrentDirectory(), "chromedriver_win32");
//创建驱动服务
ChromeDriverService service = ChromeDriverService.CreateDefaultService(driverServicePath);
//浏览器设置项
ChromeOptions options = new ChromeOptions();
options.AddArgument("--headless");//无头模式（不打开浏览器）
options.AddArgument("--no-sandbox");//禁用沙箱
options.AddArgument("--incognito");//隐身模式（无痕模式）
options.AddArgument("--disable-gpu");//禁用GPU加速
options.AddArgument("--disable-gpu-program-cache");//禁用GPU程序缓存
//options.AddArgument("--log-level=3");//日志的最低级别（INFO = 0, WARNING = 1, LOG_ERROR = 2, LOG_FATAL = 3）
//实例化浏览器驱动
ChromeDriver driver = new ChromeDriver(service, options);
#endregion

//获取天气
Weather();

Console.ReadKey();

#region 网站地址 http://www.weather.com.cn/
void Weather()
{
    #region 获取网页信息
    //页面地址
    string url = "http://www.weather.com.cn/weather/101280601.shtml";
    //打开页面
    driver.Navigate().GoToUrl(url);
    //获取七天天气
    ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.CssSelector("li[class^='sky skyid'"));
    //获取七天天气(By.XPath)
    //ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.XPath("//*[@id='7d']/ul/li"));
    #endregion

    #region 打印结果
    Console.Out.WriteLineAsync("\n********************************************************");
    Console.Out.WriteLineAsync("\t\t近七天天气");
    foreach (var item in sky)
    {
        //天气信息中的日期
        string date = item.FindElement(By.TagName("h1")).Text;
        //天气信息中的天气描述
        string wea = item.FindElement(By.CssSelector("p[class='wea']")).Text;
        //天气信息中的气温
        string tem = item.FindElement(By.CssSelector("p[class='tem']")).Text;
        //天气信息中的风向
        string win = item.FindElement(By.CssSelector("p[class='win']>em>span:nth-child(1)")).GetAttribute("title");
        //天气信息中的风力
        var wins = item.FindElement(By.CssSelector("p[class='win']>i")).Text;
        Console.Out.WriteLineAsync($"\n{date}天气信息:\n描述：{wea}\n气温：{tem}\n风向：{win}\n风力：{wins}");
    }
    Console.Out.WriteLineAsync("********************************************************");
    #endregion
}
#endregion

总结

好了，以上就是今天要讲的内容，本文仅仅介绍了Selenium用于爬虫的简单使用，而Selenium提供了很多其他强大功能，想要继续深入学习Selenium的同学可以前往官网学习：selenium。
后面我也会陆续更新其他的爬虫小项目，感谢大家支持！

原文地址：https://www.cnblogs.com/xdgy/p/16600068.html

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

selenium+python 处理只读日期控件的2种方法
转载地址：https://www.cnblogs.com/mini-monkey/p/12104821.html前言有时候测试过程中会遇到日期控件场景，这时候需要特殊处理，下文以12306网站为例1.处理方式通常是通过js去除只读属性(2种方法)，然后通过send_keys重新写值fromtimeimportsleepdriver=webdriver.Chrome()dr
selenium使用save_screenshot()进行页面截图
web自动化测试过程中页面截图相对比较简单，可以直接使用selenium自带的方法save_screenshot()。示例：对百度首页整个页面进行截图。#coding=utf-8fromseleniumimportwebdriverd=webdriver.Chrome()d.get('https://www.baidu.com/')#对页面进行截图d.save_screensh
【C# - 爬虫】使用Selenium实现爬虫，获取近七天天气信息包含完整代码
目录前言一、Selenium简介二、浏览器驱动1.浏览器驱动参考2.Windows下载Chrome驱动三、代码实现1.新建控制台项目WeatherWebCrawler2.选择.NET6.03.安装NuGet包4.将下载好的驱动放到项目生成目录下5.编写代码四、完整代码总结前言提示：爬虫本身并不违法，所有爬虫都
selenium - python - iframe 处理
一、iframe的含义：iframe是HTML中框架的一种形式，在对界面添加嵌套另一个页面时可以使用iframe。做ui自动化的时候，元素定位不到的一个很重要原因就是页面存在iframe。Iframe可以比喻成一道门，打开这道门才能进入屋子里。二、怎么判断页面上存在iframe？谷歌浏览器F12（或者右
Selenium 4 有哪些不一样？
转载请注明出处❤️作者：测试蔡坨坨原文链接：caituotuo.top/d59b986c.html你好，我是测试蔡坨坨。众所周知，Selenium在2021年10月13号发布了Selenium4，目前最新的版本应该是Selenium4.4.0。以前一直用的Selenium3，那么Selenium4相对Selenium3对我们做自动化测试来说有哪些需要注意的
selenium使用方法
'''##**认识selenium**​**下载：pipinstallselenium**​官方文档：https://selenium-python.readthedocs.io/###什么是selenium？​selenium是一套完整的web应用程序测试系统，包含了测试的录制（seleniumIDE）,编写及运行（SeleniumRemoteControl）和测试的并行处理（SeleniumGr
selenium
importtimefromselenium.webdriver.support.waitimportWebDriverWaitfromseleniumimportwebdriverfromselenium.webdriver.common.byimportBydriver=webdriver.Chrome(r"D:\百分浏览器\CentBrowser\Application\chromedriver.exe");driver.get("htt
selenium - 鼠标悬停操作
前言：当鼠标悬停在隐藏文本内容上时，显示所有内容。场景案例：百度首页，要选择‘高级搜索’，先得把鼠标放在‘设置上’F12-在页面中搜索‘高级搜索’，找到‘高级搜索’文本，鼠标放到‘设置’上，display的值变为block；鼠标不放上去之前是none，即不可见元素。隐藏的元素操作，会出现报
Appium中的TouchAchtion 与selenium ActionChains的区别
selenium中的ActionChains初始化时传入driverActionChains中存储的所有行为click(on_element=None)——单击鼠标左键click_and_hold(on_element=None)——点击鼠标左键，不松开context_click(on_element=None)——点击鼠标右键double_click(on_element=None)——双击鼠标
Selenium 操作表单
介绍常见的表单元素 Input，button，checkbox，select。表单使用表单标签（<form>）定义。例如：<form><input/></form> 保存HTML到本地进行操作<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title&g
一、使用Expected_conditions判断元素是否可见-6
1、处理定位报错的问题判断该元素存在，再输入。判断该元素不存在，抛出异常。依然是通过EC这个模块。2、判断是否存在邮箱地址，存在，再操作。就不用担心元素不存在，程序报错。3、判断传入的元素是否可见，是否在显示范围内。还是要先找元素但这样找，只能顺利的执行一次。fr
【web自动化】selenium根据浏览器版本下载对应的chromedriver
1、使用国内的镜像地址https:/egistry.npmmirror.com/binary.html?path=chromedriver/ 2、通过simulation模拟用户点击来下载（只贴出部分方法）#!/usr/bin/envpython#-*-coding:utf-8-*-importosimportplatformimportsignalimporttimeimportallureimport
selenium无法click的一个案例分享(2)
案例描述https://www.healthsmart.com.hk/hs-home/#!/link/home这个网页你手工打开的时候你会发现一直处于加载中，一定时间后才好。我们的需求是点击会员，弹出菜单，进行下一步操作，如果没有加载好是点不了的（业务特点）。我们来看看代码怎么写示例代码1：时间去哪里了fromselen
selenium unittest单元测试框架2
  
分析淘宝登陆对selenium爬虫的封杀方案，反爬虫机制的升级！
  分析了好几个小时淘宝的登陆，对其反爬虫方案有了点思路，先记录一下，后面会持续进行分析。当然想要玩更高级的Python爬虫首先你要把基础打牢，这里小编准备了一份Python爬虫入门资料，进群：700341555即可免费领取！  众所周知目前使用selenium打开浏览器访问淘宝，不管你是手动
selenium-确定找到的element唯一
在python+selenium中经常会遇到找到的元素不唯一，导致定位到的元素不是预期的或者定位不到元素解决方法：只要在页面进行确认找到的元素唯一后，再进行操作 页面确认方法：1、通过html中检索功能确认进入开发者模式：点击右上角三个点-->选则search进行查找或
【Scrapy框架中使用selenium获取动态数据案例】
引入       使用Scrapy框架爬取某些网站的数据时，往往会页面动态加载数据的情况。如果是直接使用Scrapy对其url发起请求，是绝对获取不到动态加载的数据的。但是通过观察我们会发现，通过浏览器对其url发起请求则会加载出对应的动态数据。那么，如果我们想要在Scrapy中获取
孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操作1
孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操作1 （完整学习过程屏幕记录视频地址在文末） 要模拟进行浏览器操作，只用requests是不行的，因此今天了解到有专门的解决方案：selenium模块及与火狐浏览器的配合使用。一、环境配置（一）、安装selenium模块pipinstallse
selenium-确认进入了预期页面
selenium确认进入了预期页面在自动化操作中，浏览器每次进入一个新的需要，都需要确认该页面是否打开或打开的页面是否是预期的页面需要进行确认页面后方可进行下一步操作确认页面有很多中方法，像笔者所在项目的中每个页面都有一个固定属性（ng-page=‘xxx’）来确认，所以确认页面的时候
selenium 自动化01
         
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot