我不太清楚你的網站日志里是否有不常見的CC蜘蛛。訪問名稱為“CCBot/2.0”。下面具體看一下CCbot是什么樣的蜘蛛。

1.CC bot是什么蜘蛛？

Common Crawl Bot(通用爬網)是一個開放的存儲庫，它提供了非盈利性基金會所有人都可以訪問和分析的web爬網數據。

第二，如何處理CCbot蜘蛛？

方法1 .使用robots.txt

使用Robots.txt文件允許或禁止蜘蛛訪問頁面。Robots.txt位于網站根目錄中，蜘蛛訪問時，首先查找并查看Robots.txt文件，遵守robots協議訪問站點的內容，如果允許訪問，就訪問，如果不能訪問蜘蛛，就離開。

沒有蜘蛛能訪問網站的任何部分

用戶代理：*

Disallow:/

所有蜘蛛都能訪問網站的任何部分。

用戶代理：*

Disallow:

。CCbot蜘蛛不能訪問網站的任何部分。

用戶代理：ccbot

Disallow:/

允許CCbot蜘蛛訪問網站的所有部分

用戶代理：ccbot

Disallow:

。CCbot蜘蛛可以訪問站點，而CCbot不能訪問“wp-admin”文件夾

用戶代理：ccbot

Disallow:/WP-admin

方法2 .使用元標記

您可以在頁面上使用元標記控制搜索引擎蜘蛛對網站的訪問。如果對所有頁面使用模板，則可以在和之間添加元標記。牙齒標簽將應用于使用該模板的所有頁面。要控制特定頁面，可以向和之間的每個頁面添加元標簽。

允許所有蜘蛛訪問頁面

讓所有蜘蛛訪問你的網頁，跟蹤頁面上的鏈接

允許所有蜘蛛訪問你的網站，但是他們不能追蹤鏈接。

沒有蜘蛛可以訪問你的網頁。

允許cc bot訪問網頁

CCbot引導無法訪問頁面

允許CCbot引導訪問頁面和跟蹤指向更多頁面的鏈接

如果在網站日志中發現CCbot，請不要驚慌。接下來要做的是允許爬行還是禁止爬行？梅個人認為這種蜘蛛沒有什么意義，一旦發現這種蜘蛛爬得更頻繁，最好的方法就是禁止牙齒蜘蛛繼續訪問我們的網站。

原創：MAY的SEO博客/share/ccbot.html未經允許不要轉載！