http://www.snooda.com/index zh-cn http://www.snooda.com/read/ snooda <admin@snooda.com> Thu, 27 Oct 2011 11:17:50 +0000 http://www.snooda.com/read/
    在看日志的时候发现一个有意思的现象，google和百度的蜘蛛今天很不活跃，对于站点的大规模改变似乎并不感兴趣，对css，js不屑一顾，而soso的spider非常活跃，把每个链接都详细爬了一遍，但发现一个问题：

     新博客的url是采用base设置+相对url的模式，soso的spider似乎并不识别base标签，直接把相对url附加到当前url之后进行抓取，导致了很多404请求。查了一下，base属性是html标准属性，soso不支持这个属性应该算是个bug了。





Tags - soso , spider , 爬虫 , base ]]> http://www.snooda.com/read/#blogcomment <user@domain.com> Thu, 01 Jan 1970 00:00:00 +0000 http://www.snooda.com/read/#blogcomment