根據(jù) Akamai Technologies 最新的報告，機器人占據(jù)了整體網(wǎng)站流量的42%，其中65% 的機器人屬于惡意類型。

報告指出，隨著對盜取網(wǎng)站數(shù)據(jù)的需求增加，電子商務(wù)行業(yè)受到了高風(fēng)險機器人流量的嚴(yán)重影響。盡管一些機器人對業(yè)務(wù)有利，但網(wǎng)頁抓取機器人被用于競爭情報和間諜活動，庫存囤積，冒名網(wǎng)站創(chuàng)建等惡意行為，這對企業(yè)的利潤和客戶體驗產(chǎn)生了負面影響。

報告還發(fā)現(xiàn)，企業(yè)面臨著來自惡意或有益目的的抓取所帶來的技術(shù)影響，如網(wǎng)站性能下降、網(wǎng)站指標(biāo)污染、來自釣魚網(wǎng)站的憑證受損攻擊、計算成本增加等。

報告還提供了對抗網(wǎng)頁抓取機器人的緩解策略，并展示了一個案例研究，說明一旦建立對抗這些機器人的防御措施，網(wǎng)站運行得更快、更有效。

主機吧之前的網(wǎng)站就是一堆的爬蟲機器人，時不時就來一下，導(dǎo)致服務(wù)器CPU經(jīng)常飆升100%，為此還利用百度云防護進行了惡意搜索攔截，現(xiàn)在服務(wù)器清凈很多，也快很多。