前段時間，谷歌正式宣布了取消Robots.txt的索引指令，使用這個指令的出版商必須在2019年9月1日前刪除該指令，并用其他指令代替。與此同時谷歌官方微博發布了控制搜索引擎蜘蛛抓取的5個方法，深圳谷歌推廣公司紛紛學起來了，我們北思特也不例外，在技術上一直在提升。

　　1、機器人元標記中的Noindex：

　　在HTTP響應標頭和HTML中都支持，noindex指令是在允許爬網時從索引中刪除URL的最有效方法。

　　2、404和410 HTTP狀態代碼：

　　兩個狀態代碼都表示該頁面不存在，一旦抓取和處理這些url，就會從谷歌的索引中刪除它們。

　　3、 密碼保護：

　　除非使用標記來表示訂閱或支付內容，否則在登錄后隱藏頁面通常會將其從谷歌的索引中刪除。

　　4、禁止在robots.txt中：

　　搜索引擎只能索引他們知道的網頁，因此阻止網頁被抓取通常意味著其內容不會被編入索引。雖然搜索引擎也可以基于來自其他頁面的鏈接索引URL，而不會看到內容本身，但我們的目標是在未來減少此類頁面的可見性。

　　5、搜索控制臺刪除網址工具：

　　這個工具是一種從Google搜索結果中臨時刪除網址的快捷方法。

　　以上就是5種關于谷歌推廣中有利于蜘蛛爬行的小技巧，趕緊收藏起來吧。