검색엔진 크롤러 규칙을 시각적으로 만들어 robots.txt 파일로 다운로드. SEO 기본 도구.
규칙 그룹
📄 robots.txt

robots.txt 생성기 사용법

  1. 프리셋(전체 허용·차단·표준·AI 봇 차단) 중 선택합니다.
  2. 규칙 그룹을 추가/수정합니다 (User-agent + Allow/Disallow).
  3. Sitemap URL을 입력합니다.
  4. 생성된 robots.txt를 다운로드해 사이트 루트(/robots.txt)에 업로드합니다.
  5. Google Search Console에서 테스트할 수 있습니다.

주요 기능

  • 4가지 프리셋 (전체 허용·차단·표준·AI 봇 차단)
  • User-agent 자동완성 (Googlebot·Naverbot·GPTBot·CCBot 등)
  • 다중 규칙 그룹
  • Sitemap·Crawl-delay 지원
  • 실시간 미리보기 + 다운로드/복사

활용 예시

  • SEO 기본 셋업 — 새 사이트 첫 단계
  • 관리자 페이지 차단 — /admin, /api 등 색인 방지
  • 스테이징 사이트 — 개발 환경 전체 차단
  • AI 학습 거부 — GPTBot, CCBot, Claude-Web 차단
  • 이미지 색인 제어 — Googlebot-Image만 허용/차단

robots.txt 알아보기

robots.txt는 사이트 루트에 두는 텍스트 파일로 (예: https://pxltool.com/robots.txt), 검색엔진 크롤러에게 어떤 페이지를 크롤할지 알려줍니다. 법적 강제력은 없지만 주요 검색엔진은 이를 존중합니다. User-agent: *는 모든 봇, Disallow: /는 모든 경로 차단, Allow:는 특정 경로 허용. 완벽한 차단은 아니므로 진짜 보안이 필요하면 인증(로그인)이나 IP 차단을 함께 사용하세요. 2023년 이후 AI 학습 봇(GPTBot, ClaudeBot 등)에 대한 차단 추가가 트렌드입니다.

자주 묻는 질문

Disallow한 URL이 검색 결과에 나와요.

Disallow는 크롤만 막을 뿐 색인을 막지 못합니다. 다른 사이트의 링크로 발견되면 URL만 색인될 수 있습니다. 완벽 차단은 noindex 메타 태그를 페이지에 추가하세요.

Google이 robots.txt를 무시해요.

최대 24시간 캐시됩니다. Google Search Console의 robots.txt 테스터에서 강제 재크롤 요청 가능합니다.

한국 검색엔진(네이버·다음) 차단?

Naverbot, Daumoa 등의 User-agent를 사용. 본 도구의 자동완성에 포함됩니다.

무료?

네, 완전 무료입니다.