進口窗簾布、捲簾、百葉窗-壁紙、地磚、地毯整體設計
室內設計師指定合作廠商，專業施工，價格優惠，工�

[轉貼]搜尋引擎蜘蛛程式IP整理

房東：安娜
發表時間：2012-08-22

筆者發現，想做好排名，不管用關鍵字或SEO，總之一定要認識引擎蜘蛛IP，不然不小心用防火牆檔去，那就麻煩了，因此蒐尋網路上所記載，整理了各類搜尋引擎蜘蛛IP地址大全。若有錯誤，歡迎大家來函糾正。

google蜘蛛
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*

yahoo蜘蛛
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*

yahoo中國蜘蛛
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*

百度蜘蛛
220.181.38.177
220.181.19.*
159.226.50.*
202.108.11.*
202.108.22.*
202.108.23.*
202.108.249.*
202.108.250.*
61.135.145.*
61.135.146.*

msn蜘蛛
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*

QQ蜘蛛
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*

sina蜘蛛
219.142.118.*
219.142.78.*

中搜蜘蛛
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*

163蜘蛛
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*

become.com
64.124.85.*
china蜘蛛
61.151.243.*

sohu蜘蛛
61.135.132.*
220.181.26.*
220.181.19.*
tom蜘蛛
61.135.158.*

贊助網站

易祺清潔公司
年終大掃除，解決您清潔的困擾，由我們專業的清潔服務員到府提供完善的清潔服務。
明日黃金屋
租屋就找明日黃金屋
明日黃金屋
提供租屋廣告刊登與租屋查詢,有實景照片、電子地圖、租屋配對等功能。

1 樓住戶：jack
發表時間：2012-08-22

近一年來，網站多次出現負載超高的情況，嚴重的時候甚至導致根本無法訪問，以前還以為是有無聊的人進行攻擊，後來仔細研究發現基本上都是一些設計不良的搜索引擎蜘蛛（又稱搜索引擎爬蟲、搜索引擎機器人）頻繁到訪造成的。

后来采取了一些办法，例如修改Robots.txt、增加Squid缓存、关闭计数器和全文检索等办法，总体来说有一些改善，但偶尔还是会遇到突发性负载增高的情况，最后不得不还是采取封IP的办法来保持网站正常运行。後來採取了一些辦法，例如修改Robots.txt、增加Squid緩存、關閉計數器和全文檢索等辦法，總體來說有一些改善，但偶爾還是會遇到突發性負載增高的情況，最後不得不還是採取封IP的辦法來保持網站正常運行。

但封IP唯一担心的就是将搜索引擎蜘蛛拒之门外后，得不到相应的收录从而影响网站流量，所以封IP之前往往要查一查是否属于哪个搜索引擎抓取服务器群的IP地址段。但封IP唯一擔心的就是將搜索引擎蜘蛛拒之門外後，得不到相應的收錄從而影響網站流量，所以封IP之前往往要查一查是否屬於哪個搜索引擎抓取服務器群的IP地址段。于是在网上查了一些资料，现在收集整理如下：於是在網上查了一些資料，現在收集整理如下：

蜘蛛名称蜘蛛名稱	IP地址 IP地址
Baiduspider Baiduspider	202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.* 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*
YodaoBot YodaoBot	202.108.7.215 202.108.7.220 202.108.7.221 202.108.7.215 202.108.7.220 202.108.7.221
Sogou web spider Sogou web spider	219.234.81.* 220.181.61.* 219.234.81.* 220.181.61.*
Googlebot Googlebot	203.208.60.* 203.208.60.*
Yahoo! Slurp Yahoo! Slurp	202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.* 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*
Yahoo ContentMatch Crawler Yahoo ContentMatch Crawler	119.42.226.* 119.42.230.* 119.42.226.* 119.42.230.*
Sogou-Test-Spider Sogou-Test-Spider	220.181.19.103 220.181.26.122 220.181.19.103 220.181.26.122
Twiceler Twiceler	38.99.44.104 64.34.251.9 38.99.44.104 64.34.251.9
Yahoo! Slurp China Yahoo! Slurp China	202.160.178.* 202.160.178.*
Sosospider Sosospider	124.115.0.* 124.115.0.*
CollapsarWEB qihoobot CollapsarWEB qihoobot	221.194.136.18 221.194.136.18
NaverBot NaverBot	202.179.180.45 202.179.180.45
Sogou Orion spider Sogou Orion spider	220.181.19.106 220.181.19.74 220.181.19.106 220.181.19.74
Sogou head spider Sogou head spider	220.181.19.107 220.181.19.107
SurveyBot SurveyBot	216.145.5.42 64.246.165.160 216.145.5.42 64.246.165.160
Yanga WorldSearch Bot v Yanga WorldSearch Bot v	77.91.224.19 91.205.124.19 77.91.224.19 91.205.124.19
baiduspider-mobile-gate baiduspider-mobile-gate	220.181.5.34 61.135.166.31 220.181.5.34 61.135.166.31
discobot discobot	208.96.54.70 208.96.54.70
ia_archiver ia_archiver	209.234.171.42 209.234.171.42
msnbot msnbot	65.55.104.209 65.55.209.86 65.55.209.96 65.55.104.209 65.55.209.86 65.55.209.96
sogou in spider sogou in spider	220.181.19.216 220.181.19.216

以上内容将会逐步添加、修改，希望对遇到同样问题的朋友有帮助。以上內容將會逐步添加、修改，希望對遇到同樣問題的朋友有幫助。

2 樓住戶：jeff
發表時間：2012-08-24

robots ip address ranges

Google (Googlebot)

From	To	WHOIS
64.233.160.0	64.233.191.255	WHOIS
66.102.0.0	66.102.15.255	WHOIS
66.249.64.0	66.249.95.255	WHOIS
72.14.192.0	72.14.255.255	WHOIS
74.125.0.0	74.125.255.255	WHOIS
209.85.128.0	209.85.255.255	WHOIS
216.239.32.0	216.239.63.255	WHOIS

MSN/Live (MSNBot)

From	To	WHOIS
64.4.0.0	64.4.63.255	WHOIS
65.52.0.0	65.55.255.255	WHOIS
157.54.0.0	157.60.255.255	WHOIS
207.46.0.0	207.46.255.255	WHOIS
207.68.128.0	207.68.207.255	WHOIS

Yahoo (Yahoo! Slurp)

From	To	WHOIS
8.12.144.0	8.12.144.255	WHOIS
66.196.64.0	66.196.127.255	WHOIS
66.228.160.0	66.228.191.255	WHOIS
67.195.0.0	67.195.255.255	WHOIS
68.142.192.0	68.142.255.255	WHOIS
72.30.0.0	72.30.255.255	WHOIS
74.6.0.0	74.6.255.255	WHOIS
202.160.176.0	202.160.191.255	WHOIS
209.191.64.0	209.191.127.255	WHOIS

3 樓住戶：jack
發表時間：2012-08-29

http://user-agent-string.info/list-of-ua/bot-detail?bot=MSNBot
http://user-agent-string.info/list-of-ua/bot-detail?bot=MSNBot

4 樓住戶：sopeen比價網
發表時間：2013-01-04

直接封ip還是太霸道了些，容易誤殺啊。不過還是很感謝樓主整理這些資料，比較難找。

　共 4 人回應　　選擇頁數【第1 頁】

姓名：

佈告內容：

其他選項: