也叫网络机器人，网页蜘蛛‌​​‌‌‌‌​‌​‌​‌​​​‌‌​通俗的讲，就是根据人的需求，在网络中寻找需要的信息，就像一只蜘蛛一样在网络中爬来爬去，不断寻找需要的信息网络爬虫有善意的，比如搜索引擎的爬虫，就是寻找有用的信息等着你来检索，这被认定为善意爬虫有恶意的，比如抢票软件的爬虫，对网站每秒进行大量检索，这就被认定为恶意爬虫这个的区分是看被扫描网站的，被扫描的网站觉得不开心，他就是恶意爬虫