當前位置▩•·▩:重慶網站最佳化 > SEO經驗 >

Robots檔案設定和技術細節

Robots. txt檔案放在網站的根目錄下,主要用於通知蜘蛛在該網站上的抓取範圍,SE○可以在這個檔案中宣告該網站中不想被搜尋引擎收錄的部分,或者指定搜尋引擎只收錄特定的部分◕·。

Robots檔案設定和技術細節

1✘₪✘✘、經常使用到 Robots. txt檔案的情況
網站升級,老版本網站的很多頁面在新版本網站中去掉了,在這種情況下,可以透過 Robots檔案告訴蜘蛛不再抓取這些已經被去掉的頁面◕·。
網站存在很多重複的內容,比如一個網站同時存在動態頁面和已經經過靜態化處理的頁面,這些頁面在內容上都是完全重複的內容,為了解決重複的問題,可以在 Robots檔案中禁止蜘蛛抓取動態頁面◕·。
網站內部有些內容不便於公開發布,但是需要允許內部查閱◕·。遇到這種情況,可以在 Robots中告訴蜘蛛不要抓取◕·。

2✘₪✘✘、Robots檔案的基本寫法

Allow是允許蜘蛛爬行的頁面,而 Disallow後面則是不允許蜘蛛訪的路徑和檔案◕·。
3✘₪✘✘、Robots的使用示例
(1)僅允許訪問某目錄下某個字尾的檔案這裡僅允許訪問帶“$”符號的網址,如下▩•·▩:

User-agent:*

Allow:.asp$
Disallow:/
(2)禁止索引網站中所有的動態頁面
這裡是限制訪問帶“?”的網址,例如, index.asp?d=1◕·。
User-agent
Disallow: /*?*
(3)使用“*”,限制訪問帶某個字尾的域名◕·。
這裡是禁止訪問admn目錄下所有hm檔案,如下◕·。
User-agent

Disallow: /admin/*.htm

文章來源▩•·▩:重慶SEO│↟,家專業從事重慶網站最佳化│↟,重慶建網站│↟,百度關鍵詞排名的公司│↟,有相關需要請聯絡QQ▩•·▩:470891619>
野花www在线观看免费播放,国产精品无码无卡在线播放,免费人成在线视频无码软件,乱人伦视频中文字幕