2008년 12월 04일
일본에서 활동 중인 검색 로봇 3가지 + 구글봇
현재 회사의 웹 로그를 보다가 눈에 보인 김에 기록해 준다.
일본에서는 야후 재팬과 구글 이외에 다양한 검색 서비스들이 활발히 활동을 하고 있다.
그중에 중국의 바이두와 NHN의 네이버, MS의 검색 봇 정보를 남긴다.
65.55.105.69 - - [04/Dec/2008:10:07:05 +0900] "GET / HTTP/1.1" 200 18205 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
119.63.194.39 - - [04/Dec/2008:10:07:36 +0900] "GET / HTTP/1.1" 200 19616 "-" "Baiduspider+(+http://help.baidu.jp/system/05.html)"
61.247.222.54 - - [04/Dec/2008:10:05:13 +0900] "GET / HTTP/1.1" 200 28887 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
나중에 차단을 하거나 할 때 필요하려나...
회사의 서비스 중에 하나는
세션을 관리하는 부분에 조금 문제(?)가 있어 로봇이 차지하는 세션을 줄이기 위해 막았다.
다들 표준을 따른다는 가정하에 Robot.txt 설정으로 막았다.
-----------
구글 봇 추가
66.249.67.38 - - [04/Dec/2008:14:59:15 +0900] "GET / HTTP/1.1" 200 19988 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
일본에서는 야후 재팬과 구글 이외에 다양한 검색 서비스들이 활발히 활동을 하고 있다.
그중에 중국의 바이두와 NHN의 네이버, MS의 검색 봇 정보를 남긴다.
65.55.105.69 - - [04/Dec/2008:10:07:05 +0900] "GET / HTTP/1.1" 200 18205 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
119.63.194.39 - - [04/Dec/2008:10:07:36 +0900] "GET / HTTP/1.1" 200 19616 "-" "Baiduspider+(+http://help.baidu.jp/system/05.html)"
61.247.222.54 - - [04/Dec/2008:10:05:13 +0900] "GET / HTTP/1.1" 200 28887 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
나중에 차단을 하거나 할 때 필요하려나...
회사의 서비스 중에 하나는
세션을 관리하는 부분에 조금 문제(?)가 있어 로봇이 차지하는 세션을 줄이기 위해 막았다.
다들 표준을 따른다는 가정하에 Robot.txt 설정으로 막았다.
-----------
구글 봇 추가
66.249.67.38 - - [04/Dec/2008:14:59:15 +0900] "GET / HTTP/1.1" 200 19988 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
# by | 2008/12/04 11:37 | 자료 | 트랙백(1)
제목 : 검색로봇-으로 이어질 블로그링
검색로봇-에 관한블로그를 요약한 것입니다....more