什么叫爬虫技术

【什么叫爬虫技术】

什么叫爬虫技术

文章插图
爬虫技术就是网络爬虫 。(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本 。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫 。
1、网络爬虫就是为其提供信息来源的程序,网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常被称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本,已被广泛应用于互联网领域 。
2、搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源,通过相应的索引技术组织这些信息,提供给搜索用户进行查询 。

    推荐阅读