在不下载网页的情况下使用Python检查链接是否已死

发布时间:2019-10-09 发布网站:脚本之家
脚本之家收集整理的这篇文章主要介绍了在不下载网页的情况下使用Python检查链接是否已死脚本之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
对于那些知道wget的人来说,它有一个选项–spider,允许人们检查链接是否坏了,而不实际下载网页.我想在 Python中做同样的事情.我的问题是我有一个我要检查的100’000个链接列表,每天最多一次,每周至少一次.无论如何,这将产生大量不必要的流量.

据我所知,从urllib2.urlopen() documentation开始,它不下载页面而只下载元信息.它是否正确?或者是否有其他方式以一种很好的方式做到这一点?

最好,
特勒尔斯

解决方法

您应该使用 HEAD Request,它会向Web服务器询问没有正文的标题.见 How do you send a HEAD HTTP request in Python 2?

总结

以上是脚本之家为你收集整理的在不下载网页的情况下使用Python检查链接是否已死全部内容,希望文章能够帮你解决在不下载网页的情况下使用Python检查链接是否已死所遇到的程序开发问题。

如果觉得脚本之家网站内容还不错,欢迎将脚本之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:76874919,请注明来意。

快乐,其实很简单!比如有我~

关注我升职加薪

标签: