很多站長最頭疼的一個問題就是，搜索引擎蜘蛛爲什麼不光顧自己的
企業網站，或者光顧頻率比較低。這樣對網站收錄的影響是比較大的，直接影響到網站的排名。
先談一下搜索引擎蜘蛛的工作原理吧，蜘蛛又稱網絡爬蟲、網頁蜘蛛、網絡機器人，更生動的叫網頁追逐者。一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
網絡爬蟲
你知道萬維網中有多少蜘蛛嗎?下面介紹一下全球知名的蜘蛛,NO1:谷歌蜘蛛：google 谷歌蜘蛛最新名稱爲“compatible; Googlebot/2.1;” “Googlebot-Mobile”，看名字是抓取wap內容的:，全球最大的搜索引擎公司。NO2：百度蜘蛛：Baiduspider 常見百度旗下同類型蜘蛛還有下面這些Baiduspider-mobile(wap引擎)、Baiduspider-image(搜圖引擎 )、Baiduspider-video(視頻引擎)Baiduspider-news(新聞引擎),中文搜索引擎最強的公司。NO3：360蜘蛛：360Spider。NO4:SOSO蜘蛛,NO4:Sosospider 雅虎蜘蛛,NO:5“Yahoo! Slurp China”或者Yahoo!NO6: 有道蜘蛛：YoudaoBot，YodaoBot,NO7: 搜狗蜘蛛：Sogou News Spider，這些是全球最出名的蜘蛛，其實還有好多我就不一一列舉了。
蜘蛛特點就是通過結網來捕獲獵物，所以我們的
企業網站就跟獵物一樣等蜘蛛來捕獲，如果網站內容新穎獨特，更新內容頻率高蜘蛛就會經常光顧你的網站。但是也不能讓蜘蛛隨便抓取，比如後臺地址，所以就有了robots這個協議，這個很重要如果robots.txt協議寫的好可以事半功倍。下面
河南企業網站建設公司BOB集团有限公司科技介紹一下robots.txt協議怎麼寫可以迎合蜘蛛的口味：
User-agent: *
開頭字母必須是大寫的，後面加英文形式下的冒號，然後後面是空格。
*表示通配符號。這裏指通配所有的搜索引擎。
Disallow: / 表示禁止搜索引擎爬取所有頁面，/表示目錄。
Disallow: 表示不禁止
Disallow: /admin/禁止爬取admin後臺目錄。
Disallow: /admin 禁止抓取包含admin的路徑 後面不帶/表示只要路徑中包含admin蜘蛛就不會抓取。
Allow: 表示允許
Allow: /admin/s3.html 允許抓取admin目錄下的s3.html 這個文件。
Disallow: /.css$ 表示以.css結尾的文件都不允許抓取，帶上$表示特定的文件。
3.robots.txt協議寫法注意點
注意：
所有的語法必須空格/開頭，所有正規的搜索引擎在抓取網站URL的時候會第一時間抓取robots.txt,如果沒有robots.txt文件，蜘蛛會默認網站允許抓取所有信息。
所以把
企業網站地圖放在robots.txt文件夾裏可以讓蜘蛛更快速的抓取網站路徑。 把做好的XML地圖寫在robots.txt文件裏上傳根目錄就好。
總結：robots協議對僞靜態的網站很重要，如果沒有robots協議搜索引擎就會重複收錄對網站權重排名有影響。robots協議最後必須加入
企業網站地圖，這樣纔會更好的引導蜘蛛抓取你的網站。
