사용 방법
- 프리셋(모두 허용 · 모두 차단 · 관리자 경로 차단)을 누르거나 그룹을 직접 추가해요.
- 그룹마다 User-agent를 고르고 Allow · Disallow 경로를 /로 시작하게 적어요.
- 필요하면 AI 학습용 크롤러 차단을 켜고 사이트맵 주소를 한 줄에 하나씩 넣어요.
- 검사 결과를 확인한 뒤 복사하거나 robots.txt로 내려받아 사이트 맨 위에 올려요.
빠르게 시작
PRESET프리셋을 누르면 아래 규칙 그룹이 바뀌어요. AI 크롤러 차단은 규칙 그룹과 따로 맨 아래에 붙어요.
규칙 그룹
SITEMAP
한 줄에 하나씩, https://로 시작하는 전체 주소로 적어요.
robots.txt
검사
지시어 설명
DIRECTIVES- User-agent
- 규칙을 적용할 크롤러 이름이에요.
*는 따로 이름이 적히지 않은 모든 크롤러를 뜻해요. 크롤러는 자기 이름과 가장 잘 맞는 그룹 하나만 따라요. - Disallow
- 이 경로로 시작하는 주소는 수집하지 말라는 요청이에요.
Disallow: /는 사이트 전체, 값이 비어 있으면 아무것도 막지 않아요. - Allow
- Disallow로 막은 폴더 안에서 일부만 다시 열어 줄 때 써요. 더 길게(구체적으로) 맞는 규칙이 이겨요.
- * · $
*는 아무 글자,$는 주소의 끝을 뜻해요. 예:Disallow: /*.pdf$- Crawl-delay
- 요청 사이에 쉬는 초. 일부 검색 엔진만 따르고, 구글은 무시해요.
- Sitemap
- 사이트맵 파일의 전체 주소. 그룹과 상관없이 어디에 둬도 되고 여러 줄 넣을 수 있어요.
이 브라우저 안에서만 처리돼요. 서버로 보내지 않아요.
알아 두세요. robots.txt는 '수집하지 말아 달라'는 요청이라 따르지 않는 크롤러도 있어요. 숨겨야 하는 페이지는 로그인이나 noindex로 막고, 파일은 사이트 맨 위(/robots.txt)에 올려야 해요.