-
利用百度云防護攔截gptbot amazonbot PanguBot BLEXBot DataForSeoBot SemrushBot等爬蟲
最近,一位做文庫的站長反饋,網(wǎng)站服務(wù)器經(jīng)常無緣無故的宕機,CPU被占滿。 主機邦查詢后發(fā)現(xiàn)客戶網(wǎng)站出現(xiàn)大量爬蟲訪問,最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot這幾個訪問最多,一天能請求進來幾十萬次,簡直瘋狂。 這些爬蟲大多是一些AI爬蟲或者數(shù)據(jù)分析網(wǎng)站的爬蟲,對網(wǎng)站沒有任何用處,因此,可以利用百度云防護進行攔截。 操…- 204
- 0