如果大家有经常查看网站访问日志的话,对于百度蜘蛛(baidu spider)应该就不陌生了。
百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
细心的朋友,应该已经发现了,百度蜘蛛的IP段和IP其实是很多的。
坊间流传这一种说法,说百度蜘蛛会使用不同IP段来抓取网站,不同的IP段所对应的权重也不太一样。
后来,百度有针对此事辟谣过,说百度是会通过不同的IP段来爬取内容,但是这个不涉及权重方面的判断。
不管是真是假,通过我的观察和研究,整理了一些内容常见的IP段和IP,以供参考。
01
以123开头
123.125.66.* :代表百度蜘蛛预备抓取。
123.125.68.*: 每天这个IP段蜘蛛来的最多,其余IP段较少的话示意网站被降权或者进入沙盒。
123.125.71.*: 低权重蜘蛛,抓取内页收录的,但是权重较低,文章内页不会很快被放出来。
123.181.108.77:低权重蜘蛛,抓取内页收录的,但是权重较低,文章内页不会很快被放出来。
121.14.89.* :此蜘蛛为考察蜘蛛,此IP段蜘蛛来光顾基本上是网站无排名!