전체 도구 ↗

robots.txt 생성기

크롤러 규칙 생성.

광고

설명

검색엔진 크롤러의 접근 규칙을 정하는 robots.txt를 생성합니다. 전체 허용·차단 또는 특정 경로 차단을 설정하고 사이트맵 주소를 추가하세요.

광고

관련 도구

글자수 세기대소문자 변환텍스트 정리로렘입숨비밀번호 생성기HEX↔RGBBase64 인코더URL 인코더

robots.txt는 웹사이트 루트에 위치하는 텍스트 파일로, 구글·네이버·빙 등 검색엔진 크롤러에게 어느 페이지를 수집해도 되는지 알려주는 역할을 합니다. 이 도구를 사용하면 복잡한 문법을 외우지 않아도 원하는 설정을 클릭 몇 번으로 정확한 형식의 robots.txt 파일을 즉시 생성할 수 있습니다. 사이트맵 URL 등록, 특정 디렉터리 차단, 크롤 지연 설정까지 포함할 수 있습니다.

사용 방법

먼저 차단할 크롤러를 선택합니다. 모든 크롤러를 대상으로 하려면 User-agent를 '*'(와일드카드)로 설정하고, 구글봇만 별도로 처리하려면 'Googlebot'을 추가합니다. 다음으로 접근을 막을 경로를 Disallow 항목에 입력합니다. 예를 들어 관리자 페이지라면 '/admin/'을, 특정 파라미터 URL이라면 '/?s='처럼 입력합니다. Allow 항목에는 Disallow로 막은 범위 중 예외적으로 허용할 경로를 입력합니다. 마지막으로 사이트맵 URL(https://example.com/sitemap.xml 형태)을 추가하면 완성입니다. 생성된 텍스트를 복사해 웹 호스팅의 루트 디렉터리(도메인 최상단)에 'robots.txt'라는 이름으로 저장하면 됩니다.

이럴 때 꼭 필요해요

로그인 페이지, 장바구니, 내 정보 페이지처럼 검색 결과에 노출될 필요 없는 내부 페이지를 차단할 때 유용합니다. 개발 중인 스테이징 서버나 테스트 환경 전체를 크롤러로부터 막아야 할 때도 robots.txt가 가장 빠른 방법입니다. 또한 이미지나 CSS, JavaScript 파일이 있는 '/assets/' 경로를 차단하면 크롤 예산(Crawl Budget)을 중요한 콘텐츠 페이지에 집중시킬 수 있습니다. 네이버 웹마스터도구나 구글 서치콘솔에서 'robots.txt 차단' 경고가 뜰 때 이 도구로 기존 파일을 빠르게 수정할 수 있습니다.

알아두면 좋은 점

robots.txt는 크롤러에 대한 권고일 뿐, 보안 장치가 아닙니다. 악의적인 봇은 이를 무시할 수 있으므로, 민감한 페이지는 반드시 로그인 인증이나 IP 차단으로 보호해야 합니다. Disallow: / 처럼 사이트 전체를 막으면 검색 노출이 완전히 차단되므로 실수로 배포하지 않도록 주의하세요. 한 파일 안에 여러 User-agent 블록을 작성할 수 있으며, 각 블록은 빈 줄로 구분해야 합니다. 크롤 지연(Crawl-delay) 설정은 구글봇에는 적용되지 않고 일부 봇에만 작동하므로, 서버 부하를 줄이려면 구글 서치콘솔의 크롤 속도 설정을 함께 활용하세요.

자주 묻는 질문

robots.txt가 없으면 어떻게 되나요?
파일이 없으면 크롤러는 사이트의 모든 페이지를 자유롭게 수집합니다. 대부분의 경우 문제가 없지만, 인덱싱이 필요 없는 내부 페이지까지 검색 결과에 노출될 수 있습니다.
robots.txt로 차단한 페이지가 구글에 이미 인덱싱돼 있으면 어떻게 되나요?
robots.txt로 차단하면 구글이 해당 페이지를 더 이상 방문하지 않지만, 이미 색인된 페이지가 즉시 삭제되지는 않습니다. 빠른 제거가 필요하면 구글 서치콘솔의 'URL 삭제 도구'를 병행해야 합니다.
사이트맵을 robots.txt에 꼭 추가해야 하나요?
필수는 아니지만 권장됩니다. Sitemap: 지시어를 추가하면 크롤러가 사이트맵을 자동으로 인식하여 새 페이지를 더 빠르게 발견합니다. 서치콘솔에 직접 등록하는 것과 함께 사용하면 더 효과적입니다.
와일드카드(*)를 경로에 사용할 수 있나요?
네. 예를 들어 Disallow: /search?* 처럼 작성하면 '/search?q=...'처럼 시작하는 모든 URL을 차단합니다. 단, 모든 크롤러가 와일드카드를 동일하게 해석하지 않을 수 있으므로 구글 서치콘솔의 'robots.txt 테스터'로 확인하는 것이 좋습니다.
robots.txt와 noindex 메타태그는 어떻게 다른가요?
robots.txt의 Disallow는 크롤러가 해당 페이지를 방문 자체를 막습니다. noindex는 방문은 허용하되 색인에 포함하지 말라는 지시입니다. 페이지를 검색 결과에서 완전히 제외하려면 noindex가 더 확실하고, 크롤 자체를 막으려면 Disallow를 사용합니다.

개인정보처리방침

모든 처리는 브라우저 내부에서만 수행되며 입력값·파일은 서버로 전송·저장되지 않습니다. 광고: Google AdSense(쿠키 사용 가능, 설정). 문의 kjh920424@gmail.com

robots.txt 생성기 사용법

이 도구는 검색엔진 크롤러의 접근 규칙을 담은 robots.txt 파일을 브라우저 안에서 바로 만들어 줍니다. 먼저 대상 크롤러(User-agent)를 고릅니다. 모든 크롤러에 적용하려면 *, 구글은 Googlebot, 네이버는 Yeti, 빙은 Bingbot을 지정합니다. 그다음 크롤링을 막을 경로를 Disallow에, 예외로 허용할 경로를 Allow에 입력하면 됩니다. 예를 들어 /admin/과 /tmp/는 막고 사이트맵 위치를 함께 적으면, 아래처럼 완성된 텍스트가 실시간으로 출력됩니다. 복사해서 사이트 최상위 경로에 robots.txt라는 이름 그대로 올리면 끝입니다.

작동 원리: 경로 매칭 규칙

robots.txt는 크롤러가 사이트 방문 시 가장 먼저 읽는 도메인/robots.txt 파일입니다. 규칙은 접두어(prefix) 매칭으로 동작합니다. Disallow: /data는 /data로 시작하는 모든 URL(/data, /database, /data/1)을 막고, 폴더만 막으려면 /data/처럼 슬래시를 붙입니다. *는 임의 문자열, $는 URL 끝을 뜻해 Disallow: /*.pdf$는 PDF 파일만 정확히 차단합니다. Allow와 Disallow가 겹치면 구글·네이버는 더 긴(구체적인) 규칙을 우선 적용합니다. 이 생성기는 이런 문법을 자동으로 맞춰 오타나 대소문자 실수를 줄여 줍니다.

활용 상황과 주의점

관리자 페이지, 검색 결과 페이지, 로그인 영역, 중복되는 파라미터 URL의 크롤링을 줄일 때 유용합니다. 다만 robots.txt는 크롤링(방문)을 제어할 뿐 색인(노출) 자체를 보장 차단하지 않습니다. 외부 링크로 발견된 페이지는 Disallow여도 검색에 URL만 노출될 수 있으므로, 완전히 숨기려면 페이지에 noindex 메타태그를 쓰거나 로그인으로 막아야 합니다. 또한 CSS·JS를 통째로 막으면 구글이 화면을 제대로 못 읽어 순위에 불리할 수 있으니 리소스 폴더는 열어 두세요.

실전 팁

파일 맨 아래 Sitemap: https://내도메인/sitemap.xml을 넣으면 크롤러가 페이지 목록을 더 빨리 찾습니다. User-agent별로 규칙을 다르게 줄 수 있어, 특정 봇만 차단하고 나머지는 허용하는 설정도 가능합니다. 업로드 후 구글 서치콘솔의 robots.txt 테스터나 네이버 서치어드바이저에서 실제 적용을 확인하세요. 규칙을 비워 두면(빈 Disallow) 전체 허용을 의미합니다.