問題：為什么百度pc端的蜘蛛會抓取移動端頁面？

回答：先看看百度搜索方面怎么說

百度爬蟲會盡可能使用移動UA抓取移動端頁面，但對于未知的URL，爬蟲不能準(zhǔn)確預(yù)判它是pc端還是移動端，所以可能使用pc UA爬蟲抓取，只要能正常抓回頁面，就不會影響到網(wǎng)站的內(nèi)容收錄。

從百度方面的回答里面，我們可以得出幾個結(jié)論：

1、百度抓取pc端的蜘蛛和抓取移動端的蜘蛛不同，但中間沒有嚴(yán)格的界線，在預(yù)判不準(zhǔn)確的情況下，這兩種蜘蛛可能會相互抓取。

2、只要頁面被抓，不管是pc端還是移動端UA抓，都不影響到頁面收錄。

3、要注意下頁面URL的處理，方便百度搜索蜘蛛做出更加準(zhǔn)確的判斷，減少兩端蜘蛛交叉抓取。

通過百度方面的解釋，我們可以很清楚的看到，無論是百度pc端的蜘蛛抓移動頁面，還是移動端的蜘蛛抓pc頁面，其實(shí)影響都不大。想要減少它們之間的交叉抓取，我們能做的就是把URL處理得更加明顯，幫助蜘蛛來判斷。