那么，这些爬虫是怎样“寻宝”的呢？原理其实很简单，首先给爬虫几个初始的 URL 链接，爬虫把这些链接的网页抓取回来，经过对网页进行分析，得到两部分数据：
- 一部分是网页的有效内容，可以用来建立搜索关键词的索引，这部分数据先存储起来；
- 一部分就是网页中的 URL 链接，这些链接可以作为下一轮爬虫抓取的目标网页，如此反复操作，也许整个互联网的网页都可以被抓取下来。
原理虽然很简单，但是要成为一个优秀的网络爬虫，也要具备以下特点。
1) 一个优秀的爬虫，需要从页面中解析出正确的 URL。
2) 一个优秀的爬虫，也必须有很快的抓取速度。
3) 一个优秀的爬虫，也需要有挑选最有价值的页面进行抓取的能力。
4) 一个优秀的爬虫，也需要智能地适应不同的网站。
最后再分享一个关于爬虫的冷知识，如果网站运营者不愿意网站内容被爬虫抓取，那么可以在网站根目录下放一个 robots.txt 文件，在其中具体描述该网站的哪些页面可以被抓取，哪些不能。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。