廈門網站建設:網站Robots協議的編寫要求

關鍵字：數據公司2017-01-02

廈門網站建設:為什么網站要寫robots協議

robot協議

與百度抓取的協議，此文件是百度蜘蛛第一個抓取的文件?？梢远x搜索引擎抓取哪些部分，不能抓取哪些部分。


特殊符號及常用詞組

/;代表根目錄 *：可代替多個字符 $：終止 

Disallow 禁止搜索引擎抓取部分 

Allow 允許搜索引擎抓取

User-agent 定義搜索引擎


 

編寫格式

頂頭大寫 全英文狀態編寫 冒號后的空格要注意！

Disallow: /

對于圖片的抓取設置編寫

Disallow: /*jpeg$

動態鏈接*來代替編碼

Disallow: /*?*


 

robots作為網站與百度接觸的第一個文件，重要程度可見一斑。是網站優化的第一步，讓百度的收錄我們要他收錄的內容，這是我們在優化上做到的最大程度的主動。(廈門網站建設文章來自百度新聞)


上一篇：廈門網站建設:新站關鍵詞快速排名策略

下一篇：廈門網站建設:網站降權的原因