Remark : 사이트 루트에 robots.txt 정보로 표시
robots.txt 설정하기
robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. robots.txt 파일은 항상 사이트의 루트 디렉터리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 합니다. 네이버 검색로봇은 robots.txt에 작성된 규칙을 준수하며, 만약 사이트의 루트 디렉터리에 robots.txt 파일이 없다면 모든 콘텐츠를 수집할 수 있도록 간주합니다.
간혹 특정 목적을 위하여 개발된 웹 스크랩퍼를 포함하여 일부 불완전한 검색로봇은 robots.txt 내의 규칙을 준수하지 않을 수 있습니다. 그러므로 개인 정보를 포함하여 외부에 노출되면 안 되는 콘텐츠의 경우 로그인 기능을 통하여 보호하거나 다른 차단 방법을 사용해야 합니다.
위치
사이트의 루트 디렉터리에 위치
예) http://www.example.com/robots.txt
모든 검색로봇에게 사이트의 모든 페이지에 대하여 수집을 허용하지 않음으로 설정합니다.
|
1 2 3 4 |
User-agent: * Disallow: / |
모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다.
|
1 2 3 4 |
User-agent: * Allow: / |
Sample
|
1 2 3 4 5 6 7 8 9 10 |
User-agent: * Disallow: /API/ #API 경로 검색 금지 User-agent: Yeti #네이버 검색로봇 Allow: / Disallow: /*.jpg$ #이미지 검색 금지 Sitemap: https://www.icbanq.com/sitemap.xml #사이트맵 정보 |
참조 : https://searchadvisor.naver.com/guide/seo-basic-robots