摘要：
也许很多站长对搜索引擎爬行抓取蜘蛛(机器人)程序感到很神秘，有一些好奇的站长去专研了一下,譬如flymorn等。搜索引擎抓取蜘蛛(机器人)程序其实很有趣，看他们的名字吧。Googlebot，BaiduSpider，Yahoo! Slurp关键字：
搜索引擎 蜘蛛 机器人 正文：
.135.166.233。BAIDUSPIDER版本没有具体显示：Baiduspider+(+http://www.baidu.com/search/spider.htm)
再来看看雅虎的蜘蛛： 2007-09-02 04:08:16 W3SVC78302822 59.53.88.91 GET /diary/show.asp diaryid=681 80 - 202.160.179.23 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0 2007-09-02 04:08:44 W3SVC78302822 59.53.88.91 GET /article/1/54_2.html - 80 - 74.6.26.11 Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp) 200 0 2007-09-02 13:57:28 W3SVC78302822 59.53.88.91 GET /video/list/video2/v65284823.htm - 80 - 202.160.180.177 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0 2007-09-02 14:00:25 W3SVC78302822 59.53.88.91 GET /vod/html/class7_2.html - 80 - 74.6.28.221 Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp) 200 0 0 我们可以从这些数据看出：yahoo有2个抓取蜘蛛：一，Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html；二，Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp。显然，misc是music音乐的缩写，第一个蜘蛛专门抓取音乐页面的，第二个蜘蛛才是抓取其他普通页面的。yahoo蜘蛛也偏爱电信，呵呵。yahoo的服务器数量也是非常惊人的。
日志里还有一些其他的机器人来访记录，很杂乱，我也就没有去整理了。仅仅观察了google，baidu，yahoo三大搜索巨头的蜘蛛行动。如果你也对蜘蛛感兴趣，欢迎与作者flymorn讨论。站长离不开搜索引擎，搜索引擎也需要站长。 PS:网站换服务器了，当然DNS服务器也相应地改变了。正好可以借此观察了一下搜索引擎蜘蛛Spider的变化。跟往常的观察一样，MSN机器人MSNBot最勤快。在改变DNS的当天下午MSNBot就第一个过来新服务器抓取网站了，不久之后就是Google搜索机器人Googlebot，而且进行了较大范围的抓取。到了天晚上，百度的搜索引擎机器人BaiduSpider和雅虎的机器人Yahoo! Slurp差不多是在同一个时段过来的，都是在晚上21：00左右。
[1][2]
