近(jin)日,百度站长平台发布公(gong)告宣布新(xin)版Baiduspider移动ua上线,同(tong)时公(gong)布了PC版Baiduspider ua,那么该(gai)如何正确识别移动ua呢?对此,百度站长平台技术专家孙权(quan)给出了答案。
新版移动ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +//www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +//www.baidu.com/search/spider.html)
之(zhi)前(qian)通过“+//www.baidu.com/search/spider.html”进(jin)行识(shi)别(bie)的网站请注意!您(nin)需要修改识(shi)别(bie)方式,新的正确的识(shi)别(bie)Baiduspider移动(dong)ua的方法如下:
1. 通过关键词“Android”或者(zhe)“Mobile”来进行识别,判断(duan)为移动(dong)访(fang)问或者(zhe)抓取。
2. 通过关键词“Baiduspider/2.0”,判断为(wei)百度爬虫(chong)。
另外需要强调(diao)的(de)(de)是(shi)(shi)(shi),对于robots封(feng)(feng)禁(jin),如(ru)果封(feng)(feng)禁(jin)的(de)(de)agent是(shi)(shi)(shi)Baiduspider,会对PC和(he)移(yi)(yi)动(dong)同(tong)时生效。即(ji),无论是(shi)(shi)(shi)PC还是(shi)(shi)(shi)移(yi)(yi)动(dong)Baiduspider,都(dou)不会对封(feng)(feng)禁(jin)对象进行抓取。之所以(yi)要强调(diao)这(zhei)一(yi)(yi)点,是(shi)(shi)(shi)发(fa)现有些(xie)代码(ma)适配站点(同(tong)一(yi)(yi)个url,PC ua打(da)开(kai)(kai)的(de)(de)时候是(shi)(shi)(shi)PC页,移(yi)(yi)动(dong)ua打(da)开(kai)(kai)的(de)(de)时候是(shi)(shi)(shi)移(yi)(yi)动(dong)页),想通过(guo)设置robots的(de)(de)agent封(feng)(feng)禁(jin)达到(dao)只让移(yi)(yi)动(dong)Baiduspider抓取的(de)(de)目的(de)(de),但由于PC和(he)移(yi)(yi)动(dong)Baiduspider的(de)(de)agent都(dou)是(shi)(shi)(shi)Baiduspider,这(zhei)种方法是(shi)(shi)(shi)非常不可取的(de)(de)。