打造高品質環境,創造潔淨生活
專業承包裝潢清潔、石材保養、拋光磚
防水抓漏外包網專業維修各大品牌冷氣,多家大廠指定合作,各式問題排除
完修有保固,證照技師團隊,高效率服務

首頁  •  j2h 論壇 • 網路行銷     • 

設定 robots.txt 教學

房東:孤少爺
發表時間:2006-07-25


robots.txt 樣本:

User-agent: {Spider名}
Disallow: {File位置}

例:設定所有 robot 不能夠收集 /tmp/ 和 /download/ 目錄中的資料。

User-agent: *
Disallow: /tmp/
Disallow: /download/

例:設定所有 robot 不能夠收集 etc.htm 和 /index/work.html 中的資料。

User-agent: *
Disallow: /etc.htm
Disallow: /index/work.html

例:設定所有 robot 不能夠收集所有網頁資料。

User-agent: *
Disallow: /

例:設定 Google 不能夠收集 /tmp/ 目錄中的資料。

User-agent: Googlebot
Disallow: /tmp/

例:設定 Google 和 Excite 不能夠收集 /tmp/ 和 /index/work.html 目錄中的資料。

User-agent: Googlebot
User-agent: ArchitextSpider
Disallow: /tmp/
Disallow: /index/work.html

對應表:

搜尋引擎Robot 名稱
AltaVista
Scooter
InfoseekInfoseek
HotbotSlurp
AOL SearchSlurp
ExciteArchitextSpider
GoogleGooglebot
GotoSlurp
LycosLycos
MSNSlurp
NetscapeGooglebot
NorthernLightGulliver
WebCrawlerArchitextSpider
IwonSlurp
FastFast
DirectHitGrabber
Yahoo Web PagesGooglebot
Looksmart Web PagesSlurp




  • 贊助網站       

    易祺清潔公司
    年終大掃除,解決您清潔的困擾,由我們專業的清潔服務員到府提供完善的清潔服務。
    明日黃金屋
    提供租屋廣告刊登與租屋查詢,有實景照片、電子地圖、租屋配對等功能。
    明日黃金屋
    租屋就找明日黃金屋



  •  共 0 人回應

    姓名:
    佈告內容:
    其他選項: