問題：怎么分析蜘蛛是從哪進(jìn)來的？

回答：蜘蛛從哪進(jìn)來的，這個(gè)是沒法分析的，也就是說我們不能知道蜘蛛是從哪里來的。

關(guān)于蜘蛛抓取的問題，我們可以從搜索引擎工作原理來簡單的理解下。蜘蛛通過某個(gè)鏈接去抓取某個(gè)頁面，會把頁面里面的正常的URL提取出來，請注意，蜘蛛會把提取的鏈接放到待抓取數(shù)據(jù)庫，而不是直接分配蜘蛛也抓取。如果對這個(gè)問題不理解，我們就再結(jié)合實(shí)際情況來分析。比如說企業(yè)網(wǎng)站，通常網(wǎng)站頁面總量也就是1000上下，但是每天的抓取可能在300左右。我們假設(shè)蜘蛛在抓取頁面后，馬上會分配蜘蛛來抓取，這就等于滾雪球，企業(yè)網(wǎng)站頁面的內(nèi)鏈會相對少些。以10個(gè)內(nèi)鏈為例，一個(gè)蜘蛛抓取一個(gè)頁面就能提取到10個(gè)URL，一次抓取帶來10次抓取，10次抓取帶來100次抓取，100次抓取帶來1000次抓取......很明顯，這種方式是不對的！

所以，搜索引擎并不會直接在抓取的時(shí)候，立馬派出蜘蛛去抓取，而是把抓取的URL放置到數(shù)據(jù)庫，然后會對具體的網(wǎng)站采取具體的策略，去決定是否去抓取以及抓取多少等等。也就是，我們不能知道蜘蛛是通過哪個(gè)外鏈來抓取的，因?yàn)樗械耐怄溂皟?nèi)鏈，都會將鏈接被動提交到搜索引擎待抓取的鏈接庫。換句話說，搜索引擎待抓取鏈接庫是殊途同歸的，因此不能也無法判斷，是哪個(gè)外鏈帶來的蜘蛛抓取。

大家想知道怎么分析蜘蛛是從哪進(jìn)來的，主要也是想了解哪些外鏈平臺、哪些外鏈方式有效，很遺憾這是沒法做到的。我們要知道的是，不管在哪里發(fā)的外鏈，只有被蜘蛛抓取到，里面的鏈接都會被納入到搜索引擎待抓取鏈接庫。至于網(wǎng)站頁面是否被抓取、哪些被抓取，這跟網(wǎng)站權(quán)重以及頁面內(nèi)容等有關(guān)系。所以，想要有更多蜘蛛抓取的話，提升網(wǎng)站的權(quán)重和提升頁面的質(zhì)量度，才是根本。

關(guān)于怎么分析蜘蛛是從哪進(jìn)來的，本文就簡要的說這么多?？傊畞碚f，對于蜘蛛從哪里來的，我們是不能知道的。想要增加蜘蛛抓取的話，除了去發(fā)外鏈，最重要的還是網(wǎng)站內(nèi)容建設(shè)，通常網(wǎng)站的權(quán)重越高、網(wǎng)站的內(nèi)容量越多，蜘蛛抓取頻次就越高。所以大家不要去糾結(jié)蜘蛛從哪里來的，用心做好內(nèi)容就可以了，基本不發(fā)外鏈，蜘蛛抓取也是可以放心的。