近(jin)日(ri),百(bai)度站(zhan)長平臺發(fa)布公告宣(xuan)布新版Baiduspider移動ua上(shang)線,同時公布了PC版Baiduspider ua,那么該如(ru)何正確(que)識別移動ua呢(ni)?對(dui)此,百(bai)度站(zhan)長平臺技術專家孫權給出了答案。
新版移動ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +//www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +//www.baidu.com/search/spider.html)
之前通(tong)過“+//www.baidu.com/search/spider.html”進行(xing)識(shi)別的網站請(qing)注意!您需(xu)要修改識(shi)別方(fang)式,新的正確的識(shi)別Baiduspider移動(dong)ua的方(fang)法如下:
1. 通過(guo)關鍵(jian)詞“Android”或(huo)者“Mobile”來(lai)進(jin)行識別,判斷為(wei)移動訪(fang)問或(huo)者抓取(qu)。
2. 通(tong)過關鍵詞“Baiduspider/2.0”,判斷為(wei)百度爬(pa)蟲。
另外需要強調(diao)的是(shi)(shi)(shi)(shi),對于(yu)robots封(feng)(feng)(feng)禁(jin),如果(guo)封(feng)(feng)(feng)禁(jin)的agent是(shi)(shi)(shi)(shi)Baiduspider,會(hui)對PC和移動(dong)(dong)同時(shi)(shi)生效。即,無論是(shi)(shi)(shi)(shi)PC還是(shi)(shi)(shi)(shi)移動(dong)(dong)Baiduspider,都不會(hui)對封(feng)(feng)(feng)禁(jin)對象進行抓取。之所以(yi)要強調(diao)這一點,是(shi)(shi)(shi)(shi)發現有些代碼適配站點(同一個url,PC ua打開(kai)的時(shi)(shi)候是(shi)(shi)(shi)(shi)PC頁,移動(dong)(dong)ua打開(kai)的時(shi)(shi)候是(shi)(shi)(shi)(shi)移動(dong)(dong)頁),想通過設置robots的agent封(feng)(feng)(feng)禁(jin)達到只讓移動(dong)(dong)Baiduspider抓取的目的,但由于(yu)PC和移動(dong)(dong)Baiduspider的agent都是(shi)(shi)(shi)(shi)Baiduspider,這種方法(fa)是(shi)(shi)(shi)(shi)非常(chang)不可取的。