网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者 蠕虫。
说到低爬虫就是以中自动搜索引擎
最早的爬虫来源于搜索引擎，而最早的爬虫是善意的爬虫，它可以搜索你的一切信息，并提供个其他用户，也将其他用户的信息提供个你使用，也应此产胜利一个协议叫“robots.text”,这是一个君子协议，并起到双赢的作用。
然而应为后来的大数据，而失却了作用，也是由于媒体的大力宣传，吸引了一批又一批的人去创建大数据公司，然而在这些人手里的数据可以用一个U盘就可以将它们装下，像这样的公司 他们怎么好意思称他们的数据为为大数据了，
所以为了得更多的数据，他们就得去搜索更多的数据来充实他们的数据库！而人手动去搜索数据就很浪费资源，因此在在这中情况下就产生 自动索引 又名 （爬虫）