![]() 繼上次頭條搜索暴力爬取網站信息后,華為移動搜索AspiegelBot爬蟲近日也被站長發現開始高頻抓爬網站信息,就和站長頭條差不多。
![]() 了解到,這個AspiegelBot爬蟲主要模擬安卓機進行抓爬 , UA標識符里也沒有標注爬蟲所屬公司信息,顯然不想讓人發現,后面有站長深挖才發現這個爬蟲屬華為搜索旗下的AspiegelBot公司,并且AspiegelBot的爬蟲超高頻抓取甚至堪比上次的頭條爬蟲的暴力抓取,很多被爬的一些小網站很多直接癱瘓,開始屏蔽華為搜索AspiegelBot爬蟲的訪問。 有站長表示: 這次華為移動搜索AspiegelBot爬蟲高頻爬取跟就和站長頭條差不多,也是大量抓取網站信息,一般搜索引擎只有開始大量建立索引庫才會這么玩,跟剛上線時的頭條搜索一個套路,看來華為搜索也是要準備進場了! |