當很多人做搜索引擎優化時,他們搞不清楚蜘蛛爬行的原理或者包含索引之間的關系。這篇文章主要解釋了蜘蛛和包含在實戰中的關系,不是原則,而是干貨和經驗。
首先,我們提到蜘蛛可能會想到IP,比如下面的;
220.181.108.89使用主頁的IP權重段進行爬行,一般返回代碼是304 0 0,這意味著沒有更新。
220.181.108.94使用主頁的IP權重段進行爬行,一般返回代碼是304 0 0,這意味著沒有更新。
220.181.108.97使用主頁的IP權重段進行爬行,一般返回代碼是304 0 0,這意味著沒有更新。
220.181.108.80使用主頁的IP權重段進行爬行,一般返回代碼是304 0 0,這意味著沒有更新。
220.181.108.77特別注意主頁的IP權重段,一般返回代碼是304 0 0,表示沒有更新。
很難理解嗎?但是,如果您已經完成了網絡維護或局域網絡,您可以理解,事實上,每個IP對應于一臺計算機,每個服務器組對應于一個網段。
例如,網段220.181.108.x暫時稱為包含服務器組。在這個服務器組下,有計算機ABCDE,相應的知識產權,每臺計算機安裝了相應的包含程序。
這清楚了嗎?例如,如果你提交一個鏈接到百度,這相當于提交這個鏈接到錄制服務器組的C計算機。
例如,您提交了1、2和3個鏈接,這些鏈接被提交給錄制服務器組的計算機C、D和E,因此當您檢查日志時,您會發現這三個鏈接對應于不同的入侵防御系統,即不同的計算機。
那么為什么要提交三個鏈接到三個不同的計算機呢?我個人的猜測是,提交的數據太多,不能由同一臺計算機處理,所以采用分布式處理。(個人猜測,這還沒有被研究證明,這可能是一種更先進的治療方法)。
我昨天為此做了一個測試,寫了三篇原創文章。出版后,我用最短的時間檢查了蜘蛛的爬行情況。因此,這三篇文章的知識產權是;
116.179.32.15——服務器1
220.181.108.1——服務器2
220.181.108.180——服務器3
第一篇文章寫完后,幾分鐘后就被收錄了。然后我模仿第一個寫作框架,繼續寫第二個。第二封信幾分鐘后就收到了,然后我繼續寫第三封。不幸的是,第三個沒有包括在內。
但是第二天,三篇文章都被收錄了,也就是說,第三篇文章每隔一天就被收錄一次。
我還查了116.179.32.135的知識產權。該知識產權屬于山西省陽泉市的中國聯通。目前,許多人對116.179.32.X網段上有一只蜘蛛感到驚訝。現在可以肯定的是,這個網段就是百度蜘蛛,除了nslookup可以驗證,以下幾點也是證據;
蜘蛛在身上爬行是好消息嗎?是時候了解蜘蛛爬行的原理了!秘密收集問題!
此外,百度總裁李的家鄉也是陽泉,所以幾個證據足以表明,一些搜索服務器也搬到了山西。
結合以上實戰經驗,包括蜘蛛爬過去的分析,只要鏈接提交給116.179.32.135,或者220.181.108.122,220.181.108.180等。則必須包含該鏈接,因此解鎖包含密碼的唯一困難是,如果將控制鏈接提交給這些服務器?
有些人甚至開玩笑說220從官方蜘蛛開始,而116從家鄉的蜘蛛開始。呵呵,我希望你們能一起研究這個問題。
這篇文章的第一個操作是關于:https://www.yyzjs.cn/zhanzhang/779.html的