サイト運営の際必要になる各種データの個人的な覚え書き

ロボット（Google・Yahoo!・Microsoft）編集する

最終更新：aissleaissle 2011年08月21日(日) 21:15:21履歴




ご注意・免責事項

以下の内容は、あくまで当Wikiオーナーが個人的に必要とするデータの覚え書きであり、情報の正確さや有用さを保証するものではありません。以下の情報に基づいてアクセスを制限する事を推奨するものでもありません。
当Wikiはご自分の責任においてご覧ください。当Wikiに記述してあるデータを閲覧・利用・信用した事による結果について、当Wikiのオーナーは一切の責任を負いません。また、当Wikiに記述してあるデータとその利用法についての質問は一切受け付けておりません。当Wikiの運営方針に対する要望も一切受け付けておりません。

目次へ戻る

Google関係

Google

URL http://www.google.co.jp/
クロール拒否方法 http://www.google.co.jp/support/webmasters/bin/top...
REFERER http://www.google.co.jp/search? （以下検索語等） 最終確認 2011/12/01
REFERER http://www.google.co.jp/url? （以下検索語等） 最終確認 2011/12/01
REFERER http://www.google.co.jp/hws/search? （以下検索語等） 最終確認 2011/11/24
REFERER http://www.google.co.jp/m? （以下検索語等） 最終確認 2011/12/01
REFERER http://www.google.co.jp/m/search? （以下検索語等） 最終確認 2011/09/01
REFERER http://www.google.com/search? （以下検索語等） 最終確認 2011/12/01
REFERER http://www.google.com/custom? （以下検索語等） 最終確認 2011/02/20
REFERER http://www.google.com/m/search? （以下検索語等） 最終確認 2011/07/10
REFERER http://www.google.com/m? （以下検索語等） 最終確認 2011/11/24
REFERER http://www.google.com/hws/search? （以下検索語等） 最終確認 2011/11/24
REFERER http://www.google.com/url? （以下検索語等） 最終確認 2011/11/24
REFERER http://www.google.com.tw/search? （以下検索語等） 最終確認 2011/07/11
REFERER http://www.google.ca/url? （以下検索語等） 最終確認 2011/03/06
REFERER http://www.google.co.kr/search? （以下検索語等） 最終確認 2011/04/03
REFERER http://webcache.googleusercontent.com/search? （以下URL等） 最終確認 2011/09/01
REFERER http://cgi.search.biglobe.ne.jp/cgi-bin/search （以下検索語等） 最終確認 2011/11/24
REFERER http://home.search.biglobe.ne.jp/cgi-bin/search （以下検索語等） 最終確認 2011/07/20
REFERER http://s.luna.tv/search.aspx? （以下検索語等） 最終確認 2011/04/03
REFERER http://search.auone.jp/? （以下検索語等） 最終確認 2011/11/24
備考 robots.txtを読んでいる 最終確認 2011/11/23
USER AGENT Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 最終確認 2011/11/23
HOST crawl-66-249-69-28.googlebot.com IP 66.249.69.28 最終確認 2011/11/23
HOST crawl-66-249-69-92.googlebot.com IP 66.249.69.92 最終確認 2010/12/01
HOST crawl-66-249-69-136.googlebot.com IP 66.249.69.136 最終確認 2011/04/03
HOST crawl-66-249-69-156.googlebot.com IP 66.249.69.156 最終確認 2011/07/10
HOST crawl-66-249-69-206.googlebot.com IP 66.249.69.206 最終確認 2011/09/01
HOST crawl-66-249-69-228.googlebot.com IP 66.249.69.228 最終確認 2011/02/10
HOST crawl-66-249-69-246.googlebot.com IP 66.249.69.246 最終確認 2011/08/01
拒否用 deny from 66.249.64.0/19 最終確認 2011/11/23
目次へ戻る

Google Web Preview

概要 検索結果のサムネイルを表示する機能に関係しているのかもしれないが詳しい事は不明
USER AGENT Mozilla/5.0 (en-us) AppleWebKit/525.13 (KHTML, like Gecko; Google Web Preview) Version/3.1 Safari/525.13 最終確認 2011/04/01
HOST - IP 72.14.202.84 追加 2010/12/01
HOST - IP 72.14.202.85 追加 2010/11/03
HOST - IP 72.14.202.87 追加 2011/02/20
HOST - IP 74.125.152.84 追加 2011/04/01
HOST - IP 74.125.152.86 追加 2011/03/01
拒否用 deny from 72.14.192.0/18 最終確認 2011/02/20
拒否用 deny from 74.125.0.0/16 最終確認 2011/04/01
目次へ戻る

Googleイメージ検索

URL http://images.google.co.jp/
クロール拒否方法 http://www.google.co.jp/support/webmasters/bin/top...
REFERER http://images.google.co.jp/search? （以下検索語等） 最終確認 2010/02/01
備考 robots.txtを読んでいる 最終確認 2010/10/07
USER AGENT Googlebot-Image/1.0 最終確認 2010/10/07
HOST crawl-66-249-65-122.googlebot.com IP 66.249.65.122 最終確認 2010/07/08
HOST crawl-66-249-67-83.googlebot.com IP 66.249.67.83 最終確認 2010/04/12
HOST crawl-66-249-67-121.googlebot.com IP 66.249.67.121 最終確認 2010/04/07
HOST crawl-66-249-69-92.googlebot.com IP 66.249.69.92 最終確認 2010/10/07
HOST crawl-66-249-69-246.googlebot.com IP 66.249.69.246 最終確認 2010/06/20
拒否用 deny from 66.249.64.0/19 最終確認 2010/10/07
目次へ戻る

Googleモバイル検索

URL http://www.google.com/imode/
クロール拒否方法 http://www.google.co.jp/support/webmasters/bin/top...
REFERER http://gxc.google.com/gwt/x? （以下任意のURL等） 最終確認 2011/11/24
USER AGENT DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) 最終確認 2011/03/01
備考 robots.txtを読んでいる 最終確認 2011/03/01
HOST rate-limited-proxy-72-14-199-110.google.com IP 72.14.199.110 最終確認 2010/09/15
HOST rate-limited-proxy-209-85-238-43.google.com IP 209.85.238.43 最終確認 2010/10/18
HOST rate-limited-proxy-209-85-238-49.google.com IP 209.85.238.49 最終確認 2010/07/20
HOST rate-limited-proxy-209-85-238-75.google.com IP 209.85.238.75 最終確認 2010/07/20
HOST rate-limited-proxy-209-85-238-78.google.com IP 209.85.238.78 最終確認 2011/03/01
HOST rate-limited-proxy-209-85-238-116.google.com IP 209.85.238.116 最終確認 2010/10/05
HOST rate-limited-proxy-209-85-238-199.google.com IP 209.85.238.199 最終確認 2010/12/18
拒否用 deny from 72.14.192.0/18 最終確認 2010/09/15
拒否用 deny from 209.85.128.0/17 最終確認 2011/03/01
USER AGENT SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) 最終確認 2010/10/28
備考 robots.txtを読んでいる 最終確認 2010/10/28
HOST crawl-66-249-68-100.googlebot.com IP 66.249.68.100 追加 2009/12/10
HOST crawl-66-249-69-164.googlebot.com IP 66.249.69.164 追加 2010/10/28
拒否用 deny from 66.249.64.0/19 最終確認 2010/10/28
目次へ戻る

Yahoo!関係

Yahoo!

URL http://www.yahoo.co.jp/
クロール拒否方法 http://info.search.yahoo.co.jp/
REFERER http://search.yahoo.co.jp/search? （以下検索語等） 最終確認 2011/12/01
REFERER http://azby.search.nifty.com/websearch/search? （以下検索語等） 最終確認 2011/11/24
REFERER http://search.nifty.com/websearch/search? （以下検索語等） 最終確認 2011/08/01
REFERER http://toppa.excite.co.jp/search.gw? （以下検索語等） 最終確認 2011/02/20
REFERER http://websearch.rakuten.co.jp/? （以下検索語等） 最終確認 2011/08/01
備考 robots.txtを読んでいる 最終確認 2011/11/24
USER AGENT Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 最終確認 2011/11/24
USER AGENT Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) 最終確認 2010/12/18
HOST b3091307.crawl.yahoo.net IP 67.195.111.229 最終確認 2010/12/01
HOST b3091194.crawl.yahoo.net IP 67.195.112.122 最終確認 2011/03/01
HOST b3090832.crawl.yahoo.net IP 67.195.115.170 最終確認 2011/04/04
HOST b3090828.crawl.yahoo.net IP 67.195.115.174 最終確認 2010/12/18
HOST b3090851.crawl.yahoo.net IP 67.195.115.251 最終確認 2011/11/24
HOST llf531068.crawl.yahoo.net IP 72.30.142.238 最終確認 2011/11/23
HOST llf531050.crawl.yahoo.net IP 72.30.142.248 最終確認 2010/12/18
HOST llf531076.crawl.yahoo.net IP 72.30.142.254 最終確認 2011/07/10
HOST llf531038.crawl.yahoo.net IP 72.30.161.216 最終確認 2011/03/01
拒否用 deny from 67.195.0.0/16 最終確認 2011/11/24
拒否用 deny from 72.30.0.0/16 最終確認 2011/11/23
目次へ戻る

Yahoo!ブログ検索

URL http://blog-search.yahoo.co.jp/
クロール拒否方法 http://help.yahoo.co.jp/help/jp/blog-search/blog-s...
備考 robots.txtを読んでいる 最終確認 2011/02/15
備考 2010年11月19日の時点ではrobots.txtを読んでいなかった 最終確認 2011/07/11
USER AGENT Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/) 最終確認 2011/07/11
HOST crwl113.bsearch.ogk.yahoo-net.jp IP 124.83.191.157 最終確認 2011/02/15
HOST crwl119.bsearch.ogk.yahoo-net.jp IP 124.83.191.163 最終確認 2011/07/11
HOST crwl124.bsearch.ogk.yahoo-net.jp IP 124.83.191.168 最終確認 2010/12/18
HOST crwl130.bsearch.ogk.yahoo-net.jp IP 124.83.191.174 最終確認 2010/12/18
HOST crwl140.bsearch.ogk.yahoo-net.jp IP 124.83.191.184 最終確認 2011/03/01
HOST crwl141.bsearch.ogk.yahoo-net.jp IP 124.83.191.185 最終確認 2010/12/18
HOST crwl161.bsearch.ogk.yahoo-net.jp IP 124.83.191.205 最終確認 2010/12/18
拒否用 deny from 124.83.191.0/24 最終確認 2011/03/01
目次へ戻る

Yahoo!モバイル

URL http://mobile.yahoo.co.jp/
クロール拒否方法 http://help.yahoo.co.jp/help/jp/search/indexing/in...
備考 robots.txtを読んでいる 最終確認 2010/09/23
USER AGENT DoCoMo/2.0 SH902i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/in... 最終確認 2011/02/21
USER AGENT Y!J-SRD/1.0 最終確認 2010/09/23
HOST mocr04.search.ogk.yahoo-net.jp IP 124.83.159.150 最終確認 2010/09/23
HOST mocr34.search.ogk.yahoo-net.jp IP 124.83.159.180 最終確認 2010/10/05
HOST mocr40.search.ogk.yahoo-net.jp IP 124.83.159.224 最終確認 2010/12/18
HOST mocr44.search.ogk.yahoo-net.jp IP 124.83.159.228 最終確認 2010/10/05
HOST mocr46.search.ogk.yahoo-net.jp IP 124.83.159.230 最終確認 2010/10/05
HOST ont211014008240.yahoo.co.jp IP 211.14.8.240 追加 2011/02/21
拒否用 deny from 124.83.128.0/17 最終確認 2010/12/18
拒否用 deny from 211.14.8.0/24 追加 2011/02/21
目次へ戻る

Yahoo! JAPAN リスティング広告

URL http://listing.yahoo.co.jp/
備考 以下のIPはrobots.txtを読んでいる 最終確認 2011/12/01
USER AGENT Y!J-BRJ/YATS crawler (http://listing.yahoo.co.jp/support/faq/int/other/o... 最終確認 2011/12/01
HOST uwork01.crawl.kks.yahoo.co.jp IP 114.111.95.69 追加 2011/07/25
HOST uwork02.crawl.kks.yahoo.co.jp IP 114.111.95.70 追加 2011/09/01
HOST uwork03.crawl.kks.yahoo.co.jp IP 114.111.95.71 最終確認 2011/09/01
HOST uwork04.crawl.kks.yahoo.co.jp IP 114.111.95.72 最終確認 2011/11/23
HOST uwork05.crawl.kks.yahoo.co.jp IP 114.111.95.73 最終確認 2011/11/23
HOST uwork07.crawl.kks.yahoo.co.jp IP 114.111.95.75 追加 2011/09/01
HOST uwork08.crawl.kks.yahoo.co.jp IP 114.111.95.76 追加 2011/09/01
HOST uwork09.crawl.kks.yahoo.co.jp IP 114.111.95.77 追加 2011/09/01
HOST uwork10.crawl.kks.yahoo.co.jp IP 114.111.95.78 最終確認 2011/11/23
HOST uwork12.crawl.kks.yahoo.co.jp IP 114.111.95.80 追加 2011/08/10
HOST uwork15.crawl.kks.yahoo.co.jp IP 114.111.95.83 最終確認 2011/11/23
HOST uwork17.crawl.kks.yahoo.co.jp IP 114.111.95.85 最終確認 2011/11/23
HOST uwork19.crawl.kks.yahoo.co.jp IP 114.111.95.87 最終確認 2011/12/01
HOST uwork20.crawl.kks.yahoo.co.jp IP 114.111.95.88 最終確認 2011/09/01
HOST uwork01.crawl.ogk.yahoo.co.jp IP 124.83.223.4 追加 2011/03/02
HOST uwork02.crawl.ogk.yahoo.co.jp IP 124.83.223.5 追加 2011/03/02
HOST uwork03.crawl.ogk.yahoo.co.jp IP 124.83.223.6 追加 2011/09/01
HOST uwork04.crawl.ogk.yahoo.co.jp IP 124.83.223.7 追加 2011/09/01
HOST uwork05.crawl.ogk.yahoo.co.jp IP 124.83.223.8 追加 2011/09/01
HOST uwork06.crawl.ogk.yahoo.co.jp IP 124.83.223.9 最終確認 2011/11/23
HOST uwork07.crawl.ogk.yahoo.co.jp IP 124.83.223.10 最終確認 2011/12/01
HOST uwork08.crawl.ogk.yahoo.co.jp IP 124.83.223.11 最終確認 2011/11/23
HOST uwork10.crawl.ogk.yahoo.co.jp IP 124.83.223.13 最終確認 2011/09/01
HOST uwork12.crawl.ogk.yahoo.co.jp IP 124.83.223.15 最終確認 2011/11/23
HOST uwork14.crawl.ogk.yahoo.co.jp IP 124.83.223.17 追加 2011/07/25
HOST uwork15.crawl.ogk.yahoo.co.jp IP 124.83.223.18 最終確認 2011/11/23
HOST uwork17.crawl.ogk.yahoo.co.jp IP 124.83.223.20 追加 2011/09/01
HOST uwork19.crawl.ogk.yahoo.co.jp IP 124.83.223.22 追加 2011/09/01
HOST uwork20.crawl.ogk.yahoo.co.jp IP 124.83.223.23 最終確認 2011/11/23
拒否用 deny from 114.111.64.0/18 最終確認 2011/12/01
拒否用 deny from 124.83.128.0/17 最終確認 2011/12/01
備考 以下のIPはrobots.txtを読んでいない 最終確認 2010/02/19
USER AGENT Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 最終確認 2010/02/19
HOST rtjudging1.yst.corp.yahoo.com IP 66.228.164.160 最終確認 2010/02/19
HOST rtcatalog3.yst.corp.yahoo.com IP 66.228.164.204 追加 2010/01/05
拒否用 deny from 66.228.160.0/19 最終確認 2010/02/19
目次へ戻る

研究・開発・メンテナンスなどが目的のクローラ

クロール拒否方法 http://help.yahoo.co.jp/help/jp/search/indexing/in...

Y!J-PSC

USER AGENT Y!J-PSC/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/in... 最終確認 2010/11/15
HOST uc11.ypc.tnz.yahoo.co.jp IP 203.216.197.199 追加 2010/01/05
拒否用 deny from 203.216.197.128/25 追加 2010/01/05
HOST uc8.ypc.bbt.yahoo.co.jp IP 211.14.11.147 最終確認 2010/11/15
HOST uc9.ypc.bbt.yahoo.co.jp IP 211.14.11.156 最終確認 2010/11/15
HOST uc10.ypc.bbt.yahoo.co.jp IP 211.14.11.157 最終確認 2010/11/15
拒否用 deny from 211.14.11.144/28 最終確認 2010/11/15
目次へ戻る

Y!J-BRI

USER AGENT Y!J-BRI/0.0.1 crawler ( http://help.yahoo.co.jp/help/jp/search/indexing/in... ) 最終確認 2010/12/04
備考 robots.txtを読んでいる 最終確認 2010/12/04
HOST m02.as.ogk.yahoo.co.jp IP 124.83.179.21 最終確認 2010/12/04
拒否用 deny from 124.83.128.0/17 最終確認 2010/12/04
目次へ戻る

Y!J-BRO/YFSJ

USER AGENT Y!J-BRO/YFSJ crawler (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.co.jp/help/jp/search/indexing/in... YahooFeedSeekerJp/2.0; users *; views *) 最終確認 2010/06/01
HOST proxy1001.img.kks.yahoo.co.jp IP 114.111.95.132 最終確認 2010/06/01
HOST proxy1002.img.kks.yahoo.co.jp IP 114.111.95.133 最終確認 2010/06/01
HOST proxy1003.img.kks.yahoo.co.jp IP 114.111.95.254 最終確認 2010/06/01
HOST - IP 211.14.9.247 最終確認 2010/02/01
HOST - IP 211.14.9.248 最終確認 2010/02/01
拒否用 deny from 114.111.64.0/18 最終確認 2010/06/01
拒否用 deny from 211.14.9.240/28 最終確認 2010/02/01
目次へ戻る

Yahoo! Deutschland

URL http://de.yahoo.com/
USER AGENT Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 最終確認 2010/02/01
HOST b3091190.crawl.yahoo.net IP 67.195.112.121 最終確認 2010/02/01
HOST dj531005.crawl.yahoo.net IP 74.6.31.182 最終確認 2010/01/05
拒否用 deny from 67.195.0.0/16 最終確認 2010/02/01
拒否用 deny from 74.6.0.0/16 最終確認 2010/01/05
目次へ戻る

Yahoo!中国

URL http://cn.yahoo.com/
備考 robots.txtを読んでいる 最終確認 2011/04/11
USER AGENT Mozilla/5.0 (compatible; Yahoo! Slurp China; 【本当はここにURLが入るのだが入力すると編集制限がかかるため割愛】) 最終確認 2011/04/11
HOST lj910140.crawl.yahoo.net IP 202.160.178.238 最終確認 2011/04/11
HOST lj910350.crawl.yahoo.net IP 202.160.180.27 最終確認 2010/04/14
HOST lj910534.crawl.yahoo.net IP 202.160.180.79 最終確認 2010/02/01
拒否用 deny from 202.160.176.0/20 最終確認 2011/04/11
目次へ戻る

Yahoo!中国（？）

URL http://cn.yahoo.com/
備考 UAではYahoo! Slurp Chinaを名乗っているが、本当にYahoo!中国のクローラなのかは不明
備考 robots.txtは読んでいない 追加 2010/12/12
USER AGENT Yahoo! Slurp China 追加 2010/12/12
HOST UNKNOWN-110-75-175-37.aliyun.com IP 110.75.175.37 追加 2010/12/12
拒否用 deny from 110.75.160.0/19 追加 2010/12/12
目次へ戻る

Microsoft関係

Bing

URL http://www.bing.com/
クロール拒否方法 http://help.live.com/Help.aspx?market=ja-JP&projec...
REFERER http://www.bing.com/search? （以下検索語等） 最終確認 2011/11/24
REFERER http://jp.bing.com/search? （以下検索語等） 最終確認 2011/09/01
目次へ戻る
USER AGENT Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm) 最終確認 2011/11/23
備考 robots.txtを読んでいる 最終確認 2011/11/23
HOST msnbot-65-52-104-90.search.msn.com IP 65.52.104.90 最終確認 2011/11/23
HOST msnbot-65-52-110-20.search.msn.com IP 65.52.110.20 最終確認 2011/08/01
HOST msnbot-65-52-110-28.search.msn.com IP 65.52.110.28 最終確認 2011/07/10
HOST msnbot-65-52-110-52.search.msn.com IP 65.52.110.52 最終確認 2011/07/10
HOST msnbot-65-52-110-55.search.msn.com IP 65.52.110.55 追加 2010/12/02
HOST msnbot-65-52-110-65.search.msn.com IP 65.52.110.65 最終確認 2011/02/10
HOST msnbot-65-52-110-198.search.msn.com IP 65.52.110.198 最終確認 2011/09/01
HOST msnbot-207-46-13-46.search.msn.com IP 207.46.13.46 最終確認 2010/12/02
HOST msnbot-207-46-13-85.search.msn.com IP 207.46.13.85 最終確認 2011/02/10
HOST msnbot-207-46-204-179.search.msn.com IP 207.46.204.179 最終確認 2011/04/01
HOST msnbot-207-46-204-229.search.msn.com IP 207.46.204.229 最終確認 2011/03/01
HOST msnbot-207-46-204-234.search.msn.com IP 207.46.204.234 最終確認 2011/08/01
HOST msnbot-207-46-204-243.search.msn.com IP 207.46.204.243 最終確認 2011/07/20
拒否用 deny from 65.52.0.0/14 最終確認 2011/11/23
拒否用 deny from 207.46.0.0/16 最終確認 2011/08/01
目次へ戻る
USER AGENT msnbot/2.0b (+http://search.msn.com/msnbot.htm) 最終確認 2011/02/10
備考 robots.txtを読んでいる 最終確認 2011/02/10
HOST msnbot-65-55-3-134.search.msn.com IP 65.55.3.134 最終確認 2011/02/10
HOST msnbot-207-46-13-40.search.msn.com IP 207.46.13.40 最終確認 2010/10/05
HOST msnbot-207-46-13-50.search.msn.com IP 207.46.13.50 最終確認 2010/10/05
HOST msnbot-207-46-13-90.search.msn.com IP 207.46.13.90 最終確認 2010/10/05
HOST msnbot-207-46-13-100.search.msn.com IP 207.46.13.100 最終確認 2010/10/05
HOST msnbot-207-46-195-230.search.msn.com IP 207.46.195.230 最終確認 2010/10/05
HOST msnbot-207-46-199-37.search.msn.com IP 207.46.199.37 最終確認 2010/11/15
HOST msnbot-207-46-199-50.search.msn.com IP 207.46.199.50 最終確認 2010/10/05
拒否用 deny from 65.52.0.0/14 最終確認 2011/02/10
拒否用 deny from 207.46.0.0/16 最終確認 2010/11/15
目次へ戻る
USER AGENT msnbot-NewsBlogs/2.0b (+http://search.msn.com/msnbot.htm) 最終確認 2011/02/21
備考 robots.txtを読んでいる 最終確認 2011/02/21
HOST msnbot-65-52-104-53.search.msn.com IP 65.52.104.53 追加 2011/02/17
HOST - IP 157.55.16.42 追加 2011/02/21
拒否用 deny from 65.52.0.0/14 最終確認 2011/02/17
拒否用 deny from 157.54.0.0/15 追加 2011/02/21
目次へ戻る
USER AGENT msnbot/1.1 (+http://search.msn.com/msnbot.htm) 最終確認 2010/01/05
HOST msnbot-65-55-104-169.search.msn.com IP 65.55.104.169 最終確認 2010/01/05
拒否用 deny from 65.52.0.0/14 最終確認 2010/01/05
目次へ戻る
USER AGENT msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) 最終確認 2011/09/01
備考 robots.txtを読んでいる 最終確認 2011/09/01
HOST msnbot-65-55-37-183.search.msn.com IP 65.55.37.183 最終確認 2010/04/20
HOST msnbot-207-46-194-50.search.msn.com IP 207.46.194.50 最終確認 2011/04/07
HOST msnbot-207-46-194-65.search.msn.com IP 207.46.194.65 最終確認 2011/09/01
HOST msnbot-207-46-194-147.search.msn.com IP 207.46.194.147 最終確認 2011/04/07
HOST msnbot-207-46-195-167.search.msn.com IP 207.46.195.167 最終確認 2011/07/11
HOST msnbot-207-46-204-133.search.msn.com IP 207.46.204.133 最終確認 2011/08/21
拒否用 deny from 65.52.0.0/14 最終確認 2010/04/20
拒否用 deny from 207.46.0.0/16 最終確認 2011/09/01
目次へ戻る
USER AGENT DoCoMo/2.0 P906i(c100;TB;W24H15) (compatible; MSNBOT-MOBILE/1.1; +http://search.msn.com/msnbot.htm) 最終確認 2010/06/01
HOST msnbot-65-55-4-170.search.msn.com IP 65.55.4.170 最終確認 2010/06/01
HOST msnbot-65-55-51-40.msn.com IP 65.55.51.40 最終確認 2010/02/01
拒否用 deny from 65.52.0.0/14 最終確認 2010/06/01
目次へ戻る

Microsoft Academic Search

URL http://academic.research.microsoft.com/
概要 学術論文を検索するサービスらしい
備考 robots.txtを読んでいる 追加 2010/07/15
USER AGENT librabot/2.0 (+http://academic.research.microsoft.com/) 追加 2010/07/15
HOST - IP 202.96.51.145 追加 2010/07/15
拒否用 deny from 202.96.51.128/25 追加 2010/07/15
目次へ戻る

目的不明


概要 何の目的でクロールしているのかはわからないが、IPはMicrosoftのもののようだ
備考 robots.txtは読んでいない 追加 2011/08/21
USER AGENT Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SLCC1; .NET CLR 1.1.4325) 追加 2011/08/21
HOST msnbot-157-55-112-231.search.msn.com IP 157.55.112.231 追加 2011/08/21
拒否用 deny from 157.54.0.0/15 追加 2011/08/21
目次へ戻る
概要 何の目的でクロールしているのかはわからないが、IPはMicrosoftのもののようだ
備考 robots.txtは読んでいない 追加 2010/09/16
USER AGENT MSR-ISRCCrawler 追加 2010/09/16
HOST msnbot-65-52-51-49.search.msn.com IP 65.52.51.49 追加 2010/09/16
拒否用 deny from 65.52.0.0/14 追加 2010/09/16
目次へ戻る
概要 何の目的でクロールしているのかはわからないが、IPはMicrosoftのもののようだ
備考 robots.txtは読んでいない 追加 2010/06/02
USER AGENT Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322) 追加 2010/06/02
HOST msnbot-65-55-24-217.search.msn.com IP 65.55.24.217 追加 2010/06/02
拒否用 deny from 65.52.0.0/14 追加 2010/06/02
目次へ戻る
概要 何の目的でクロールしているのかはわからないが、IPはMicrosoftのもののようだ
備考 robots.txtは読んでいない
USER AGENT Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0) 追加 2010/05/16
HOST - IP 65.52.2.3 追加 2010/05/16
HOST - IP 65.52.29.84 追加 2010/05/16
HOST - IP 70.37.65.108 追加 2010/05/16
拒否用 deny from 65.52.0.0/14 追加 2010/05/16
拒否用 deny from 70.37.0.0/17 追加 2010/05/16
目次へ戻る
概要 何の目的でクロールしているのかはわからないが、IPはMicrosoftのもののようだ
備考 robots.txtを読んでいる 最終確認 2009/12/08
USER AGENT Mozilla/4.0 最終確認 2009/12/08
HOST msnbot-65-55-37-175.search.msn.com IP 65.55.37.175 追加 2009/10/04
HOST - IP 65.55.230.230 最終確認 2009/12/08
拒否用 deny from 65.52.0.0/14 最終確認 2009/12/08
目次へ戻る
このエントリーをTumblrにポストClip to Evernoteこの記事をクリップ！コメントを見るYahoo!ブックマークに登録このエントリーをはてなブックマークに追加
 

各種データ一覧

二次創作のガイドライン

最近更新したページ

Wiki内検索

RSSを登録

 RSSリーダーで購読する

はてなRSSへ追加

Google Readerへ追加

Powered by FeedBurner

Wikiをはじめる

マイページ