你的网站为何卡？谁在攻击网站(一)？

  站长朋友们可能或多或少都有这样的体验，一个月中总有那么几天网站卡的要命，下载日志一看，原来是由大量不明流量的访问在消耗网站的CPU、带宽和内存。谁在攻击你的网站？他们为何要对你这一个名不见经传的小网站下毒手？

  攻击你网站的无外乎这两大类人：通杀类和仇杀类，通杀类不是专门针对你的网站的，类似大侠下江南，你躺枪而已。仇杀类一般是竞争对手、你得罪的人干的。下面一一分析。

通杀类：
1、 某些无良蜘蛛
  大家知道，蜘蛛都是编制好的自动化程序，用来模拟用户爬取你的网站数据。好的蜘蛛大家都欢迎，比如百度蜘蛛，搜狗蜘蛛等等，这些蜘蛛对我们是有益的，并且好的蜘蛛也会控制好自己的爬取的节奏，不至于把你网站爬瘫。可以根据User-Agent:的描述来区分蜘蛛，当然也有些烂人把自己打扮伪装的和百度等良性蜘蛛一样，这个以后再谈。什么叫不好的蜘蛛？它爬行的数据用于莫名其妙的研究，比如ahrefs这蜘蛛专门研究所有网站外链数据，用来卖信息给需要的人，再比如siteexplorer这个蜘蛛也不是什么好鸟，经常把网站爬瘫，这类蜘蛛趁早禁止为妙。禁止这些蜘蛛的方法一般是写robots.txt_文件。

  在此要吐槽下某个负责任“大公司”的“搜索”蜘蛛，无良到极点，无视robots.txt文件的国际公约，强行爬取网站，并且经常是几十个IP并发群殴，如果想禁止这类的蜘蛛，要封杀蜘蛛的IP段才可以，可以在.htaccess文件里面，通过限制User-Agent来实现禁止：

BrowserMatchNoCase “Python” bots
BrowserMatchNoCase “CCBot” bots
BrowserMatchNoCase “package” bots
BrowserMatchNoCase “MJ12bot” bots
BrowserMatchNoCase “exabot” bots
BrowserMatchNoCase “libcurl” bots
BrowserMatchNoCase “python” bots
BrowserMatchNoCase “Datanyze” bots
BrowserMatchNoCase “WinHttpRequest” bots
BrowserMatchNoCase “ZoominfoBot” bots
BrowserMatchNoCase “ahrefs” bots
BrowserMatchNoCase “Nimbostratus” bots
BrowserMatchNoCase “filterdb” bots
BrowserMatchNoCase “SemrushBot” bots
BrowserMatchNoCase “MSIE 6.0” bots
BrowserMatchNoCase “siteexplorer” bots
BrowserMatchNoCase “Yandex” bots
Order Allow,Deny
Allow from ALL
Deny from env=bots

关于攻击网站的黑道，今天先写到这里，改天继续。