robots.txt를 설치하지 않았을 경우 동호회 명단, 직장 전화번호 등 원치 않은 정보가 검색엔진에 노출되는 결과가 생길 수도 있습니다. 이를 해결하기 위한 방법은 다음과 같습니다. | |
1. ID와 비밀번호가 필요하도록 만드는 방법입니다. | |
이
경우 로봇은 해당 사이트의 ID와 비밀번호를 가지고 있지 않기 때문에 접근할 수가 없게 됩니다. 하지만 링크로 연결되지 않는 한 네이버의 로봇은 비밀번호로 보안을 걸어놓은 문서에 접근하지 못합니다. 비밀번호로 보안을 걸어놓았는데도 웹 검색에 노출이 되는 경우는 어떤 사람(주로 내부인)이 해당 문서의 URL을 다른 웹 페이지에 적어놓았기 때문일 가능성이 큽니다. 만일, 이 경우에도 노출을 원하지 않는 경우에도 역시 아래의 삭제 문의 창구로 연락 주시기 바랍니다. | |
2. 해당 페이지를 서버에서 삭제하거나 로봇 배제 장치인 robots.txt를 서버에 저장해 주시기 바랍니다. | |
로봇 배제 표준이란 말 그대로 웹 문서를 수집해 가는 로봇을 배제한다는 뜻입니다. 로봇의 배제와 관련된 내용을 적어 놓은 robots.txt 파일을 사이트의 최상위 주소(서버 루트 디렉토리 예:www.naver.com/robots.txt)에 저장하면 됩니다. (robots.txt를 서브디렉토리에 저장할 경우에는 효력이 없다는 사실에 주의하세요.) 예를 들어,
www.yourhost/~mypage 밑에 robots.txt가 있어도 이는 아무런 효력을 갖지 못합니다. robots.txt를 서버에 저장하신 후 NAVER 검색이 해당 변경 상태를 재확인하는 데는 다소의 시간이 걸릴 수 있으므로, NAVER 검색 결과에서 해당 웹 문서가 즉시 제거되지 않을 수 있습니다. 만일, 즉시 삭제가 되어야 하거나 부득이한 상황이 있는 경우 아래의 삭제 문의 창구를 이용해 연락 주시기 바랍니다. | |
robots.txt 저장 방법 안내 | |
1. 홈페이지 전체가 모든 검색엔진에 노출되는 것을 원하지 않을 때 | |
| |
2. 홈페이지 전체가 모든 검색엔진에 노출되기를 원할 때 | |
| |
(Ex1과 비교했을 때 “/”가 빠져 있습니다. robots.txt를 작성하지 않으면 모두 검색허용으로 간주됩니다.) | |
3. 홈페이지 디렉토리의 일부만 검색엔진에 노출하고 싶을 때 | |
| |
(이렇게 작성하면 로봇은 my_photo, my_diary라는 폴더에 속한 웹문서에 접근할 수 없습니다.) | |
4. 홈페이지 전체가 검색되길 원하지만 특정 검색엔진을 거부하고 싶을 때 | |
| |
위의
예에서는 “EvilRobot”이라는 이름을 가진 로봇만을 배제하게 됩니다. | |
5. 홈페이지 전체가 검색되길 원하지만 특정 검색엔진에게만 노출되기를 원할 때 | |
| |
(이 경우 NaverBot만이 웹문서를 수집해갈 수 있습니다.) | |
“robots.txt”를
작성하는 것과 유사한 방법으로 HTML문서의 (HEAD)와 (/HEAD)태그 사이에 이 방법은 다소
번거롭기는 하지만 문서 하나하나에 대해 정확하게 명시를 해주기 때문에 로봇 배제에 대한 보다 자세한 내용은 http://www.robotstxt.org에서 확인할 수 있습니다. robots.txt를 서버에 저장하고 로봇이 직접 방문하지 않는 경우라고 하더라도 본인의 홈페이지 중 일부 내용 혹은 링크 값이 NAVER 웹 문서 검색 결과에 나타나는 경우가 있을 수 있습니다. 이는 다른 웹 문서들이나 사이트들이 해당 웹 문서를 링크한 경우, 그 링크에 제시된 설명에 의해서 자동적으로 생성되는 것으로, 해당 웹 사이트의 robots.txt의 존재유무나 로봇의 동작과는 무관할 수 있습니다. 만일 이 경우에도 노출을 원하지 않는 경우에도 역시 아래의 삭제 문의 창구로 연락 주시기 바랍니다. | |
NAVER
웹문서 수집을 통해 수록된 내용이나 NAVER 로봇의 작동으로 인해 불편을 느끼시거나 운영에 의견이 있으신 경우,
아래의 “삭제 요청 및 문의”를 이용해 주시기 바랍니다. | |
어떤 경우에 삭제 요청을 할 수 있나요? | |
1. 본인이 직접 올리신 게시물을 검색에서 제외하고 싶으신 경우 | |
- robots.txt 를 설치하셨다면 본인확인 절차 혹은 원본 삭제 없이 곧바로 검색에서 제외처리를 해드릴 수
있습니다. 삭제 문의 창구를 통해서 URL 접수를 해주시면 빠른 처리를 도와드립니다. | |
-
본인이 올린 게시글을 비밀번호가 생각나지 않는 등의 기타 이유로 직접 삭제 할 수 없을 시, | |
-
주민등록번호, 계좌번호, 운전면허증번호 등 치명적인 개인정보가 노출되는 페이지로 개인정보 노출에 대한 피해, | |
2. 운영자가 운영 중인 웹 페이지를 검색에서 제외하고 싶으신 경우 | |
게시판,
혹은 기타 웹 페이지를 검색에서 제외하고 싶으신 운영자의 경우 로그인, 혹은 robots.txt 설치처럼, 검색 제외 요청의사를 | |
3. 제 3자의 게시물을 검색에서 제외하고 싶으신 경우 | |
본인과
관련 없는 글이라도 웹서핑을 하다가 접속이 되지 않는 페이지를 발견하셨거나 성인물, 악성코드 등 적합하지 않은 | |
① 본인의 성명 / 연락처 / 해당 페이지가 나오는 키워드 / 문제가 되는 게시물의 URL주소 | |
새댓글
전체보기