又来一个害人的悟空蜘蛛：WukongSpider
来自Jamesqi
--James Qi 2010年3月13日 (六) 11:36 (CST)
上周我们有一台服务器的负载特别高，无论白天黑夜都是超负荷，导致监控的程序总是报警、重启Apache的程序也是反复工作，而服务器上网站的流量并没有特别增加。
先是怀疑邮编库中添加了大量数据造成的，但数据库服务器一直很稳定，只是Apache服务器负载过高。今天周末看到负载依然很高，不得不又去下载Squid的日志查看，发现有一个以前没有出现过的WukongSpider出现频率过高，都超过Google / Baidu / Yahoo / Youdao / Soso等正规搜索引擎的抓取条数了。
网上查了一下这个站：
唔箜搜索 唔箜搜索是综合型的手机搜索引擎,提供分类定向搜索,共有手机图片、手机铃声、mp3、手机地图、手机游戏等17个类别的搜索和下载. wukong.net
从界面上看是个手机浏览网站，Alexa排名在30多万位，但不知道手机终端浏览者是否多。
将其IP地址220.181.122.70加入Squid的黑名单，重启Squid服务器后，后端的Apache服务器负载马上开始下降，现在设置过去1小时了，负载大约是以前的1/3。
终于把这个害人的蜘蛛精Wukong Spider找出来、灭掉了，这个悟空搜索不知道是技术上有问题还是爬行的思路上出了问题，反正不能让它继续折腾我们服务器了，不知道它是否还在折腾别人网站的服务器。
| 标签：蜘蛛。 |
相关内容：
|
