最近，一位做文庫的站長反饋，網(wǎng)站服務器經(jīng)常無緣無故的宕機，CPU被占滿。

主機邦查詢后發(fā)現(xiàn)客戶網(wǎng)站出現(xiàn)大量爬蟲訪問，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot這幾個訪問最多，一天能請求進來幾十萬次，簡直瘋狂。

這些爬蟲大多是一些AI爬蟲或者數(shù)據(jù)分析網(wǎng)站的爬蟲，對網(wǎng)站沒有任何用處，因此，可以利用百度云防護進行攔截。

操作方法如下：

1.登陸Web防護規(guī)則-創(chuàng)建Web防護規(guī)則

2.開啟自定義防護策略，并添加策略

3.策略如

User-Agent 包含 gptbot 攔截并追加封禁 1440分鐘

把上面的爬蟲名字全添加上去

然后保存，并關聯(lián)相關域名。

我們再來看效果：

成功攔截，客戶服務器恢復穩(wěn)定！