專做系統家具、系統櫃
客製化流暢舒適居家，免費估價規劃		拆除全系列活動百葉窗.防火安全門.氣密隔音窗
堅固耐用.工廠直營.歡迎洽詢

首頁  •  j2h 論壇 • 網路行銷     • 

[轉貼]搜尋引擎蜘蛛程式IP整理

房東：安娜
發表時間：2012-08-22


筆者發現，想做好排名，不管用關鍵字或SEO，總之一定要認識引擎蜘蛛IP，不然不小心用防火牆檔去，那就麻煩了，因此蒐尋網路上所記載，整理了各類搜尋引擎蜘蛛IP地址大全。若有錯誤，歡迎大家來函糾正。


google蜘蛛
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*

yahoo蜘蛛
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*

yahoo中國蜘蛛
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*

百度蜘蛛
220.181.38.177
220.181.19.*
159.226.50.*
202.108.11.*
202.108.22.*
202.108.23.*
202.108.249.*
202.108.250.*
61.135.145.*
61.135.146.*

msn蜘蛛
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*

QQ蜘蛛
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*

sina蜘蛛
219.142.118.*
219.142.78.*

中搜蜘蛛
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*

163蜘蛛
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*

become.com
64.124.85.*
china蜘蛛
61.151.243.*

sohu蜘蛛
61.135.132.*
220.181.26.*
220.181.19.*
tom蜘蛛
61.135.158.*


  • 贊助網站       

    明日黃金屋
    提供租屋廣告刊登與租屋查詢,有實景照片、電子地圖、租屋配對等功能。
    易祺清潔公司
    年終大掃除，解決您清潔的困擾，由我們專業的清潔服務員到府提供完善的清潔服務。
    明日黃金屋
    租屋就找明日黃金屋

    • 1 樓住戶：jack
    發表時間：2012-08-22

    近一年來，網站多次出現負載超高的情況，嚴重的時候甚至導致根本無法訪問，以前還以為是有無聊的人進行攻擊，後來仔細研究發現基本上都是一些設計不良的搜索引擎蜘蛛（又稱搜索引擎爬蟲、搜索引擎機器人）頻繁到訪造成的。


    后来采取了一些办法，例如修改Robots.txt、增加Squid缓存、关闭计数器和全文检索等办法，总体来说有一些改善，但偶尔还是会遇到突发性负载增高的情况，最后不得不还是采取封IP的办法来保持网站正常运行。後來採取了一些辦法，例如修改Robots.txt、增加Squid緩存、關閉計數器和全文檢索等辦法，總體來說有一些改善，但偶爾還是會遇到突發性負載增高的情況，最後不得不還是採取封IP的辦法來保持網站正常運行。


    但封IP唯一担心的就是将搜索引擎蜘蛛拒之门外后，得不到相应的收录从而影响网站流量，所以封IP之前往往要查一查是否属于哪个搜索引擎抓取服务器群的IP地址段。但封IP唯一擔心的就是將搜索引擎蜘蛛拒之門外後，得不到相應的收錄從而影響網站流量，所以封IP之前往往要查一查是否屬於哪個搜索引擎抓取服務器群的IP地址段。 于是在网上查了一些资料，现在收集整理如下：於是在網上查了一些資料，現在收集整理如下：





























































































    蜘蛛名称蜘蛛名稱 IP地址 IP地址
    Baiduspider Baiduspider

    202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.* 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*
    YodaoBot YodaoBot

    202.108.7.215 202.108.7.220 202.108.7.221 202.108.7.215 202.108.7.220 202.108.7.221
    Sogou web spider Sogou web spider

    219.234.81.* 220.181.61.* 219.234.81.* 220.181.61.*
    Googlebot Googlebot

    203.208.60.* 203.208.60.*
    Yahoo! Slurp Yahoo! Slurp

    202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.* 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*
    Yahoo ContentMatch Crawler Yahoo ContentMatch Crawler

    119.42.226.* 119.42.230.* 119.42.226.* 119.42.230.*
    Sogou-Test-Spider Sogou-Test-Spider

    220.181.19.103 220.181.26.122 220.181.19.103 220.181.26.122
    Twiceler Twiceler

    38.99.44.104 64.34.251.9 38.99.44.104 64.34.251.9
    Yahoo! Slurp China Yahoo! Slurp China

    202.160.178.* 202.160.178.*
    Sosospider Sosospider 124.115.0.* 124.115.0.*
    CollapsarWEB qihoobot CollapsarWEB qihoobot

    221.194.136.18 221.194.136.18
    NaverBot NaverBot

    202.179.180.45 202.179.180.45
    Sogou Orion spider Sogou Orion spider

    220.181.19.106 220.181.19.74 220.181.19.106 220.181.19.74
    Sogou head spider Sogou head spider

    220.181.19.107 220.181.19.107
    SurveyBot SurveyBot

    216.145.5.42 64.246.165.160 216.145.5.42 64.246.165.160
    Yanga WorldSearch Bot v Yanga WorldSearch Bot v

    77.91.224.19 91.205.124.19 77.91.224.19 91.205.124.19
    baiduspider-mobile-gate baiduspider-mobile-gate

    220.181.5.34 61.135.166.31 220.181.5.34 61.135.166.31
    discobot discobot

    208.96.54.70 208.96.54.70
    ia_archiver ia_archiver 209.234.171.42 209.234.171.42
    msnbot msnbot

    65.55.104.209 65.55.209.86 65.55.209.96 65.55.104.209 65.55.209.86 65.55.209.96
    sogou in spider sogou in spider

    220.181.19.216 220.181.19.216

    以上内容将会逐步添加、修改，希望对遇到同样问题的朋友有帮助。以上內容將會逐步添加、修改，希望對遇到同樣問題的朋友有幫助。



    2 樓住戶：jeff
    發表時間：2012-08-24

    robots ip address ranges


    Google (Googlebot)













































    From To WHOIS
    64.233.160.0 64.233.191.255 WHOIS
    66.102.0.0 66.102.15.255 WHOIS
    66.249.64.0 66.249.95.255 WHOIS
    72.14.192.0 72.14.255.255 WHOIS
    74.125.0.0 74.125.255.255 WHOIS
    209.85.128.0 209.85.255.255 WHOIS
    216.239.32.0 216.239.63.255 WHOIS

    MSN/Live (MSNBot)



































    From To WHOIS
    64.4.0.0 64.4.63.255 WHOIS
    65.52.0.0 65.55.255.255 WHOIS
    157.54.0.0 157.60.255.255 WHOIS
    207.46.0.0 207.46.255.255 WHOIS
    207.68.128.0 207.68.207.255 WHOIS

    Yahoo (Yahoo! Slurp)























































    From To WHOIS
    8.12.144.0 8.12.144.255 WHOIS
    66.196.64.0 66.196.127.255 WHOIS
    66.228.160.0 66.228.191.255 WHOIS
    67.195.0.0 67.195.255.255 WHOIS
    68.142.192.0 68.142.255.255 WHOIS
    72.30.0.0 72.30.255.255 WHOIS
    74.6.0.0 74.6.255.255 WHOIS
    202.160.176.0 202.160.191.255 WHOIS
    209.191.64.0 209.191.127.255 WHOIS


    3 樓住戶：jack
    發表時間：2012-08-29

    http://user-agent-string.info/list-of-ua/bot-detail?bot=MSNBot
    http://user-agent-string.info/list-of-ua/bot-detail?bot=MSNBot

    4 樓住戶：sopeen比價網
    發表時間：2013-01-04

    直接封ip還是太霸道了些，容易誤殺啊。不過還是很感謝樓主整理這些資料，比較難找。



    　共 4 人回應　　選擇頁數 【第1 頁】 

    姓名：
    佈告內容：
    其他選項: