Yskin's Blog

今天上线看了下网站的访问记录，百度又开始大规模的访问我的网站了。

从2006年6月17日开始，百度就一直没有再收录过我的网站的一个页面。在百度用site:yskin.net搜索，只能搜到93个页面，最新的是6月17日的。看了访问记录，百度会偶尔来访问一下首页，保持着每天一次的频率，不过百度并没有收录首页。当时比较着急，毕竟国内使用百度的人还是很多的。当时不知所措，直接在footer里加上“百度”二字，链接到百度的网站。7月16日，百度开始大规模的收录网页，太恐怖了，两次访问之间只间隔两秒。还有一个叫做Yandex的俄罗斯搜索引擎，也是几秒钟一次不停的访问。而msn和Yahoo两个搜索引擎则温柔的多，起码间隔上几分钟才进行下一次访问。Google则做的最好，他的最低间隔设置为一分钟，不会对网站有太大影响。

呃，也许百度用的HTTP管道吧，省一点连接数，但是服务器恐怕受不了，页面执行时间就要一秒钟啊。况且访问频繁，流量占用也很大。另外还有一个叫做ia_archiver的经常访问，上网查了一下，原来是Alexa crawler。我安装了一个SearchStatus插件，可以在Firefox的状态栏上显示当前页面的Google PageRank值和Alexa排名，sniffer发现这个插件完全是仿照Google工具条和Alexa工具条的访问方式设计的，所以使用这个插件应该和使用两个工具条没什么两样，多访问一下自己的网站，应该可以增加Alexa排名。另外，我发现Alexa的爬虫访问了我的几个不公开的页面，都是我做测试用的页面，连URL后面的#部分都不漏，很明显他是在你查看Alexa排名的时候记录了URL，然后进行了访问。这确实是一个得到更多网址的好办法，不知道Alexa工具条的用户有没有在Alexa工具条的用户条款里见到过这一条，否则Alexa未免太不厚道了，Google都不敢这样做。

好像还有UA是"Wordpress 2.0.3"的，好奇怪。