Python爬虫中urllib3与urllib的区别是什么

分类：Python作者：编程之家用户

目录urllib库

urllib.request模块Request对象1 . 请求头添加2. 操作cookie3. 设置代理urllib.parse模块urllib.error模块urllib.robotparse模块 网络库urllib3网络请求GET请求POST请求HTTP响应头上传文件超时处理

urllib库

urllib 是一个用来处理网络请求的python标准库，它包含4个模块。urllib.request---请求模块，用于发起网络请求 urllib.parse---解析模块，用于解析URL urllib.error---异常处理模块，用于处理request引起的异常 urllib.robotparser robots.tx---用于解析robots.txt文件urllib.request模块request模块主要负责构造和发起网络请求，并在其中添加Headers，Proxy等。 利用它可以模拟浏览器的请求发起过程。发起网络请求 操作cookie 添加Headers 使用代理关于urllib.request.urlopen参数的介绍urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)urlopen是一个简单发送网络请求的方法。它接收一个字符串格式的url，它会向传入的url发送网络请求，然后返回结果。先写一个简单的例子:from urllib import requestresponse = request.urlopen(url=’http://www.httpbin.org/get’)print(response.read().decode())urlopen默认会发送get请求，当传入data参数时，则会发起POST请求。data参数是字节类型、者类文件对象或可迭代对象。from urllib import requestresponse = request.urlopen(url=’http://www.httpbin.org/post’,data=b’username=q123&password=123’)print(response.read().decode())还才可以设置超时，如果请求超过设置时间，则抛出异常。timeout没有指定则用系统默认设置，timeout只对，http，https以及ftp连接起作用。它以秒为单位，比如可以设置timeout=0.1 超时时间为0.1秒。from urllib import requestresponse = request.urlopen(url=’https://www.baidu.com/’,timeout=0.1)Request对象利用openurl可以发起最基本的请求，但这几个简单的参数不足以构建一个完整的请求，可以利用更强大的Request对象来构建更加完整的请求。1 . 请求头添加通过urllib发送的请求会有一个默认的Headers: “User-Agent”:“Python-urllib/3.6”，指明请求是由urllib发送的。所以遇到一些验证User-Agent的网站时，需要我们自定义Headers把自己伪装起来。from urllib import requestheaders ={ ’Referer’: ’https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=1&tn=baidu&wd=python%20urllib%E5%BA%93&oq=python%2520urllib%25E5%25BA%2593&rsv_pq=947af0af001c94d0&rsv_t=66135egC273yN5Uj589q%2FvA844PvH9087sbPe9ZJsjA8JA10Z2b3%2BtWMpwo&rqlang=cn&rsv_enter=0&prefixsug=python%2520urllib%25E5%25BA%2593&rsp=0’,’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/72.0.3626.121 Safari/537.36’}response = request.Request(url=’https://www.baidu.com/’,headers=headers)response = request.urlopen(response)print(response.read().decode())2. 操作cookie在开发爬虫过程中，对cookie的处理非常重要，urllib的cookie的处理如下案例from urllib import requestfrom http import cookiejar# 创建一个cookie对象cookie = cookiejar.CookieJar()# 创一个cookie处理器cookies = request.HTTPCookieProcessor(cookie)# 以它为参数，创建opener对象opener = request.build_opener(cookies)# 使用这个opener 来发请求res =opener.open(’https://www.baidu.com/’)print(cookies.cookiejar)3. 设置代理运行爬虫的时候，经常会出现被封IP的情况，这时我们就需要使用ip代理来处理，urllib的IP代理的设置如下：from urllib import requesturl =’http://httpbin.org/ip’#代理地址proxy ={’http’:’172.0.0.1:3128’}# 代理处理器proxies =request.ProxyBasicAuthHandler(proxy)# 创建opener对象opener = request.build_opener(proxies)res =opener.open(url)print(res.read().decode())urlib库中的类或或者方法，在发送网络请求后，都会返回一个urllib.response的对象。它包含了请求回来的数据结果。它包含了一些属性和方法，供我们处理返回的结果read() 获取响应返回的数据，只能用一次 readline() 读取一行 info() 获取响应头信息 geturl() 获取访问的url getcode() 返回状态码urllib.parse模块parse.urlencode() 在发送请求的时候，往往会需要传递很多的参数，如果用字符串方法去拼接会比较麻烦，parse.urlencode()方法就是用来拼接url参数的。from urllib import parseparams = {’wd’:’测试’,’code’:1,’height’:188}res = parse.urlencode(params)print(res)打印结果为wd=%E6%B5%8B%E8%AF%95&code=1&height=188也可以通过parse.parse_qs()方法将它转回字典print(parse.parse_qs(’wd=%E6%B5%8B%E8%AF%95&code=1&height=188’))urllib.error模块error模块主要负责处理异常，如果请求出现错误，我们可以用error模块进行处理 主要包含URLError和HTTPErrorURLError：是error异常模块的基类，由request模块产生的异常都可以用这个类来处理HTTPError：是URLError的子类，主要包含三个属性Code:请求的状态码 reason：错误的原因 headers：响应的报头from urllib import request,errortry: response = request.urlopen("http://pythonsite.com/1111.html")except error.HTTPError as e: print(e.reason) print(e.code) print(e.headers)except error.URLError as e: print(e.reason)else: print("reqeust successfully")urllib.robotparse模块 robotparse模块主要负责处理爬虫协议文件，robots.txt.的解析。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取

网络库urllib3

urllib3是比urllib库更强大的存在，目前已经有许多的原生系统已经开始使用urllib3。urllib3具有如下优点：支持HTTP和SOCKS代理 支持压缩编码 100%测试覆盖率 具有链接池 线程安全 客户端SLL/TLS验证 协助处理重复请求和HTTP重定位 使用multipart编码上传文件因为urllib3并不是Python的标准库，所以我们使用之前，需要进行下载安装，具体命令如下所示：pip install urllib3#或conda install urllib3下面，我们来讲解urllib3库的使用方式。网络请求GET请求首先，在我们使用urllib3库进行网络请求时，需创建PoolManager类的实例，该类用于管理线程池。下面，我们来通过urllib访问百度，并返回查询的结果，示例如下：import urllib3http = urllib3.PoolManager()url = ’http://www.baidu.com/s’headers = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/91.0.4472.124 Safari/537.36’}response = http.request(’GET’,url,fields={’wd’: ’机器学习’},headers=headers)result = response.data.decode(’UTF-8’)print(result)运行之后，效果如下：

这里，我们通过fields参数指定GET的请求字段。不过，这里先一步讲解了请求头，其实是百度有安全机制，读者可以去掉headers参数试试。会返回百度的安全验证页面。POST请求如果需要向服务器提交表单或者比较复杂的数据，就需要使用到POST请求。POST请求比较简单，仅仅只是将请求的第一个参数改为“POST”即可。示例如下：import urllib3http = urllib3.PoolManager()url = ’http://httpbin.org/post’headers = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/91.0.4472.124 Safari/537.36’}response = http.request(’POST’,fields={’username’: ’name’,’age’: ’123456’},headers=headers)result = response.data.decode(’UTF-8’)print(result)运行之后，返回如下数据：

HTTP响应头使用urllib3库进行网络访问时，其返回的HTTPResponse。默认有一些携带的参数，其中就包括info方法。它能返回响应头数据，示例如下：import urllib3http = urllib3.PoolManager()url = ’http://www.baidu.com/s’headers = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,headers=headers)for key in response.info().keys(): print(’key:’,response.info()[key])运行之后，返回的响应数据如下：

上传文件首先，我们需要简单的实现一个文件上传的服务器代码，这里我们使用Flask搭建一个简单的服务器Python程序，代码如下：import flaskimport osUPLOAD_FILE = ’uploads’app = flask.Flask(__name__)@app.route(’/’,methods=[’POST’])def upload_file(): file = flask.request.files[’file’] if file: file.save(os.path.join(UPLOAD_FILE,os.path.basename(file.filename))) return ’文件上传成功’ else: return ’文件上传失败’if __name__ == ’__main__’: app.run()运行之后，它会一直等待客户端上传文件。这个时候，我们再来实现urllib3是如何上传文件的，示例如下：import urllib3http = urllib3.PoolManager()with open(’1.jpg’,’rb’) as f: fileData = f.read()url = ’http://127.0.0.1:5000’response = http.request(’POST’,fields={’file’: (’1.jpg’,fileData,’image/jpeg’)})print(response.data.decode(’UTF-8’))默认flask搭建的服务器，其接口为5000，也就是通过127.0.0.1:5000进行访问。运行之后，就会在uploads文件夹下创建一个1.jpg的图片。同时，控制台会输出文件上传成功，而服务器会返回状态码200。这里，上传文件就1一个键值对，其中file代表服务器上传文件的字段。值的元组里，fileData为文件的二进制形式，’image/jpeg’代表上传文件的格式（可以省略）。超时处理urllib3库其HTTP的底层都是基于Socket实现的，而Socket超时又分为连接超时与读超时。其中，连接超时表示在连接的过程中，由于服务器的问题或域名弄错了，而导致的无法连接的情况抛出的异常。读超时表示从服务器读取数据时由于服务器的问题，导致长时间无法正常读取数据而导致的异常。通常，我们超时的设置有2种，一种是通过http.request(timeout)进行设置，一种是通过PoolManager()连接池进行设置。示例如下：from urllib3 import *http = PoolManager(timeout=Timeout(connect=2.0,read=2.0))with open(’1.jpg’,’rb’) as f: fileData = f.read()url = ’http://127.0.0.1:5000’try: response = http.request(’POST’,timeout=Timeout(connect=2.0,read=4.0)) print(response.data.decode(’UTF-8’))except Exception as e: print(e)需要注意的是，通过连接池PoolManager进行设置的超时，是全局超时时间，哪怕你后边的请求不设置，也是默认使用的这个超时。如果同时设置了request的超时，那么以request为准。到此这篇关于Python爬虫中urllib3与urllib的区别是什么的文章就介绍到这了,更多相关Python urllib3 urllib内容请搜索编程之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程之家！

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Python中的函数（二）
Python中的函数（二） 在上一篇文章中提到了Python中函数的定义和使用，在这篇文章里我们来讨论下关于函数的一些更深的话题。在学习C语言函数的时候，遇到的问题主要有形参实参的区别、参数的传递和改变、变量的作用域。同样在Python中，关于对函数的理解和使用也存在这些问题。下面来逐一讲解。一.函
Python中的字符串
Python中的字符串 可能大多数人在学习C语言的时候，最先接触的数据类型就是字符串，因为大多教程都是以"Hello world"这个程序作为入门程序，这个程序中要打印的"Hello world"就是字符串。如果你做过自然语言处理方面的研究，并且用Python
Python 面向对象编程（一）
Python 面向对象编程（一） 虽然Python是解释性语言，但是它是面向对象的，能够进行对象编程。下面就来了解一下如何在Python中进行对象编程。一.如何定义一个类 在进行python面向对象编程之前，先来了解几个术语：类，类对象，实例对象，属性，函数和方法。 类是对现实世界中一些事物的封装，
Python面向对象编程（二）
Python面向对象编程（二） 在前面一篇文章中谈到了类的基本定义和使用方法，这只体现了面向对象编程的三大特点之一：封装。下面就来了解一下另外两大特征：继承和多态。 在Python中，如果需要的话，可以让一个类去继承一个类，被继承的类称为父类或者超类、也可以称作基类，继承的类称为子类。并且Pytho
Python中的函数（一）
Python中的函数（一） 接触过C语言的朋友对函数这个词肯定非常熟悉，无论在哪门编程语言当中，函数（当然在某些语言里称作方法，意义是相同的）都扮演着至关重要的角色。今天就来了解一下Python中的函数用法。一.函数的定义 在某些编程语言当中，函数声明和函数定义是区分开的（在这些编程语言当中函数声明
在windows下如何快速搭建web.py开发框架
在windows下如何快速搭建web.py开发框架 用Python进行web开发的话有很多框架供选择，比如最出名的Django，tornado等，除了这些框架之外，有一个轻量级的框架使用起来也是非常方便和顺手，就是web.py。它由一名黑客所创建，但是不幸的是这位创建者于2013年自杀了。据说现在由
将Sublime Text 2搭建成一个好用的IDE
将Sublime Text 2搭建成一个好用的IDE 说起编辑器，可能大部分人要推荐的是Vim和Emacs，本人用过Vim，功能确实强大，但是不是很习惯，之前一直有朋友推荐SUblime Text 2这款编辑器，然后这段时间就试了一下，就深深地喜欢上这款编辑器了...
Python中的模块
Python中的模块 有过C语言编程经验的朋友都知道在C语言中如果要引用sqrt这个函数，必须用语句"#include<math.h>"引入math.h这个头文件，否则是无法正常进行调用的。那么在Python中，如果要引用一些内置的函数，该怎么处理呢？在Python中
Python的基础语法
Python的基础语法 在对Python有了基础的认识之后，下面来了解一下Python的基础语法，看看它和C语言、java之间的基础语法差异。一.变量、表达式和语句 Python中的语句也称作命令，比如print "hello python"这就是一条语句。 表达式，顾名思义，是
Eclipse+PyDev+Django+Mysql搭建Python web开发环境
Eclipse+PyDevʽjango+Mysql搭建Python web开发环境 Python的web框架有很多，目前主流的有Django、Tornado、Web.py等，最流行的要属Django了，也是被大家最看好的框架之一。下面就来讲讲如何搭建Django的开发环境。一.准备工作 需要下载的
在windows下安装配置Ulipad
在windows下安装配置Ulipad 今天推荐一款轻便的文本编辑器Ulipad，用来写一些小的Python脚本非常方便。 Ulipad下载地址： https://github.com/limodou/ulipad http://files.cnblogs.com/dolphin0520/u...
Python中的函数（三）
Python中的函数（三） 在前面两篇文章中已经探讨了函数的一些相关用法，下面一起来了解一下函数参数类型的问题。在C语言中，调用函数时必须依照函数定义时的参数个数以及类型来传递参数，否则将会发生错误，这个是严格进行规定的。然而在Python中函数参数定义和传递的方式相比而言就灵活多了。一.函数参数的
在Notepad++中搭配Python开发环境
在Notepad++中搭配Python开发环境 Python在最近几年一度成为最流行的语言之一，不仅仅是因为它简洁明了，更在于它的功能之强大。它不仅能够完成一般脚本语言所能做的事情，还能很方便快捷地进行大规模的项目开发。在学习Python之前我们来看一下Python的历史由来，"Pytho
Python中的条件选择和循环语句
Python中的条件选择和循环语句 同C语言、Java一样，Python中也存在条件选择和循环语句，其风格和C语言、java的很类似，但是在写法和用法上还是有一些区别。今天就让我们一起来了解一下。一.条件选择语句 Python中条件选择语句的关键字为：if 、elif 、else这三个。其基本形式如
关于raw_input()和sys.stdin.readline()的区别
关于raw_input( )和sys.stdin.readline( )的区别 之前一直认为用raw_input( )和sys.stdin.readline( )来获取输入的效果完全相同，但是最近在写程序时有类似这样一段代码：import sysline = sys.stdin.readline()
初识Python
初识Python 跟学习所有的编程语言一样，首先得了解这门语言的编程风格和最基础的语法。下面就让我们一起来了解一下Python的编程风格。1.逻辑行与物理行 在Python中有逻辑行和物理行这个概念，物理行是指在编辑器中实际看到的一行，逻辑行是指一条Python语句。在Python中提倡一个物理行只
retry重试常见场景及实现
当我们的代码是有访问网络相关的操作时,比如http请求或者访问远程数据库，经常可能会发生一些错误，有些错误可能重新去发送请求就会成功，本文分析常见可能需要重试的场景，并最后给出python代码实现。
python迭代器和生成器
1.经典迭代器 2.将Sentence中的__iter__改成生成器函数 改成生成器后用法不变，但更加简洁。 3.惰性实现 当列表比较大，占内存较大时，我们可以采用惰性实现，每次只读取一个元素到内存。 或者使用更简洁的生成器表达式 4.yield from itertools模块含有大量生成器函数可
python-kafka源码解析之socketpair
本文介绍简单介绍socket的常用函数,并以python-kafka中的源码socketpair为例，来讲解python socket的运用
彻底弄懂python编码
python实践中经常出现编码相关的异常，大多网上找资料而没有理解原理，导致一次次重复错误。本文对常用Unicode、UTF-8、GB2312编码的原理进行介绍，接着介绍了python字符类型unicode和str以及常见编解码错误UnicodeEncodeError和UnicodeDEcodeEr
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot