网络爬虫是一种自动获取网页信息的程序，通常用于搜索引擎索引和数据挖掘。根据目的和实现方式，网络爬虫可以分为通用网络爬虫和专用网络爬虫。

通用网络爬虫旨在获取尽可能多的网页信息，如Google爬虫；而专用网络爬虫则用于特定目的，如抓取商品信息的价格比较网站。此外，还有增量网络爬虫和深度网络爬虫等不同分类。