顛覆空間新美學!精細分工、專業設計
量身訂製完美系統家具,頂級時尚品味選!
裝潢拆除全系列活動百葉窗.防火安全門
氣密隔音窗.堅固耐用.工廠直營.歡迎洽詢。

首頁  •  j2h 論壇 • 網路行銷     • 

設定 robots.txt 教學

房東:孤少爺
發表時間:2006-07-25


robots.txt 樣本:

User-agent: {Spider名}
Disallow: {File位置}

例:設定所有 robot 不能夠收集 /tmp/ 和 /download/ 目錄中的資料。

User-agent: *
Disallow: /tmp/
Disallow: /download/

例:設定所有 robot 不能夠收集 etc.htm 和 /index/work.html 中的資料。

User-agent: *
Disallow: /etc.htm
Disallow: /index/work.html

例:設定所有 robot 不能夠收集所有網頁資料。

User-agent: *
Disallow: /

例:設定 Google 不能夠收集 /tmp/ 目錄中的資料。

User-agent: Googlebot
Disallow: /tmp/

例:設定 Google 和 Excite 不能夠收集 /tmp/ 和 /index/work.html 目錄中的資料。

User-agent: Googlebot
User-agent: ArchitextSpider
Disallow: /tmp/
Disallow: /index/work.html

對應表:

搜尋引擎Robot 名稱
AltaVista
Scooter
InfoseekInfoseek
HotbotSlurp
AOL SearchSlurp
ExciteArchitextSpider
GoogleGooglebot
GotoSlurp
LycosLycos
MSNSlurp
NetscapeGooglebot
NorthernLightGulliver
WebCrawlerArchitextSpider
IwonSlurp
FastFast
DirectHitGrabber
Yahoo Web PagesGooglebot
Looksmart Web PagesSlurp




  • 贊助網站       

    明日黃金屋
    租屋就找明日黃金屋
    易祺清潔公司
    年終大掃除,解決您清潔的困擾,由我們專業的清潔服務員到府提供完善的清潔服務。
    明日黃金屋
    提供租屋廣告刊登與租屋查詢,有實景照片、電子地圖、租屋配對等功能。



  •  共 0 人回應

    姓名:
    佈告內容:
    其他選項: