需要先安装requests库和bs4库
<span style="color: #0000ff">try<span style="color: #000000">:
<span style="color: #008000">#<span style="color: #008000">获取服务器的响应内容,并设置最大请求时间为6秒
res = requests.get(url,timeout = 6<span style="color: #000000">)
<span style="color: #008000">#<span style="color: #008000">判断返回状态码是否为200
<span style="color: #000000"> res.raise_for_status()
<span style="color: #008000">#<span style="color: #008000">设置真正的编码
res.encoding =<span style="color: #000000"> res.apparent_encoding
<span style="color: #008000">#<span style="color: #008000">返回网页HTML代码
<span style="color: #0000ff">return<span style="color: #000000"> res.text
<span style="color: #0000ff">except<span style="color: #000000">:
<span style="color: #0000ff">return <span style="color: #800000">'<span style="color: #800000">产生异常<span style="color: #800000">'
<span style="color: #008000">#<span style="color: #008000">目标网页
url = <span style="color: #800000">'<span style="color: #800000">https://www.cnblogs.com/huwt/<span style="color: #800000">'<span style="color: #000000">
demo =<span style="color: #000000"> getHTMLText(url)
<span style="color: #008000">#<span style="color: #008000">解析HTML代码
soup = BeautifulSoup(demo,<span style="color: #800000">'<span style="color: #800000">html.parser<span style="color: #800000">'<span style="color: #000000">)
<span style="color: #008000">#<span style="color: #008000">模糊搜索HTML代码的所有标签
a_labels = soup.find_all(<span style="color: #800000">'<span style="color: #800000">a<span style="color: #800000">'<span style="color: #000000">)
<span style="color: #008000">#<span style="color: #008000">获取所有标签中的href对应的值,即超链接
<span style="color: #0000ff">for a <span style="color: #0000ff">in<span style="color: #000000"> a_labels:
<span style="color: #0000ff">print(a.get(<span style="color: #800000">'<span style="color: #800000">href<span style="color: #800000">'))
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。