蜘蛛過(guò)多，導(dǎo)致負(fù)載狀態(tài)一直100%，又不想升級(jí)服務(wù)器，怎么辦？360和頭條的蜘蛛同時(shí)來(lái)，但是過(guò)幾個(gè)小時(shí)蜘蛛不來(lái)了又恢復(fù)了。

來(lái)歸來(lái)啊，你是一條收錄都沒(méi)有，站長(zhǎng)平臺(tái)也沒(méi)有看到索引量和收錄，但是基本天天來(lái)，導(dǎo)致服務(wù)器一直負(fù)載狀態(tài)一直100%。

這個(gè)有沒(méi)有辦法解決？難道禁止他們來(lái)嗎？還是讓他一直這樣，還還還還是是是有其他的解決方法？

遇到這個(gè)問(wèn)題我們可以嘗試通過(guò)搜索引擎站長(zhǎng)平臺(tái)來(lái)調(diào)節(jié)蜘蛛的抓取頻次。

百度站長(zhǎng)平臺(tái)-抓取頻次-當(dāng)前抓取頻次過(guò)大如何解決？-抓取頻次上限調(diào)整

360搜索站長(zhǎng)平臺(tái)-蜘蛛壓力-手動(dòng)調(diào)整最大抓取頻率

頭條搜索站長(zhǎng)平臺(tái)-抓取頻次-抓取頻次上限調(diào)整

調(diào)整后等個(gè)一兩天看看，是不是恢復(fù)正常了，如果還是這樣，建議屏蔽掉一些搜索引擎蜘蛛，比如360和頭條搜索引擎蜘蛛，往往都會(huì)給服務(wù)器帶來(lái)非常大的壓力，可以通過(guò)網(wǎng)站請(qǐng)求日志查看一些訪問(wèn)較為頻繁的IP，然后用防火墻進(jìn)行攔截。

有條件的話，可以考慮用CDN進(jìn)行抓取緩解。相關(guān)鏈接