robots.txt 생성기 — 크롤링 허용·차단 규칙 만들기
크롤러별 허용·차단 경로로 robots.txt 파일 생성
브라우저에서 처리 · 서버로 전송되지 않음
*는 모든 크롤러에 적용합니다. 하나의 사용자 에이전트 그룹을 생성합니다.
한 줄에 /로 시작하는 경로 하나. 공백·#은 URL 인코딩하세요. *와 $를 사용할 수 있습니다.
한 줄에 /로 시작하는 경로 하나. 공백·#은 URL 인코딩하세요. *와 $를 사용할 수 있습니다.
robots.txt는 크롤러에 보내는 요청입니다. 접근 권한을 제어하지 않으며 검색 결과 제외도 보장하지 않습니다. 비밀 경로를 숨기는 용도로 사용하지 마세요.
robots.txt를 생성했습니다.
사용 방법
- 모든 크롤러에 적용하려면 User-agent를
*로 둡니다. 특정 크롤러라면 해당 제품 토큰 하나를 입력합니다. - 금지할 경로를 한 줄에 하나씩 입력합니다. 예를 들어
/private/는 그 경로 아래의 크롤링을 제한하도록 요청합니다. - 금지 경로 중 다시 허용할 하위 경로가 있다면 허용 예외에 입력합니다.
- 사이트맵의 전체 http(s) 주소를 선택적으로 추가합니다.
- 결과를 복사하거나 robots.txt로 내려받아 해당 사이트의 루트 경로에 게시합니다.
규칙과 파일 위치
생성기는 하나의 User-agent 그룹을 만듭니다. 경로는 /로 시작해야 하며 대소문자를 구분합니다. *는 여러 문자에 대한 패턴으로, $는 경로 끝에 대한 조건으로 사용할 수 있습니다. 공백과 #은 그대로 넣지 말고 URL 인코딩을 적용하세요.
금지 목록이 비어 있으면 Disallow:를 빈 값으로 출력합니다. 사이트 전체 크롤링을 금지하도록 요청하려면 금지 경로에 /를 입력합니다. robots.txt는 일반적으로 https://example.com/robots.txt 위치에 두며, 별도 호스트나 프로토콜에는 그에 맞는 파일이 필요합니다.
예시
/private/를 금지하고 /private/public/을 허용하면 더 구체적인 공개 하위 경로를 예외로 표현할 수 있습니다. /*.pdf$는 PDF로 끝나는 URL에 대한 패턴 예시입니다. 쿼리 문자열이 붙은 URL까지 같은 방식으로 일치한다고 단정하지 말고 실제 URL로 검사하세요.
보안 및 제한
robots.txt의 내용은 누구나 읽을 수 있습니다. 크롤러가 지침을 따르지 않을 수도 있으며, 차단은 인증·권한 검사를 대신하지 않습니다. 생성기는 파일 구문을 만들 뿐 실제 크롤링이나 색인 상태를 검사하지 않습니다. 각 경로 목록은 1,000줄·100,000자 이내로 제한합니다.
규칙의 문법과 일치 기준은 Robots Exclusion Protocol, RFC 9309를 참고하세요.
자주 묻는 질문
robots.txt로 비공개 페이지를 보호할 수 있나요?
아니요. robots.txt는 공개 파일이며 크롤러에 대한 요청입니다. 로그인이나 서버 접근 제어를 대신하지 못합니다. 민감한 경로를 숨기는 용도로 사용하지 마세요.
Disallow를 설정하면 검색 결과에서 사라지나요?
보장되지 않습니다. 크롤링이 차단된 URL도 다른 페이지의 링크 등을 통해 검색 결과에 나타날 수 있습니다. 검색 제외 설정은 별도로 검토해야 합니다.
허용과 차단 규칙이 겹치면 어떻게 되나요?
표준을 따르는 크롤러는 더 구체적인 경로 규칙을 적용하고, 같은 길이의 일치라면 Allow가 우선합니다. 크롤러마다 지원 범위가 다를 수 있으므로 실제 서비스의 검사 기능도 확인하세요.
