사무소 홈페이지의 robots.txt는 어떻게 설정해야 하나

한눈에 답하면

사무소 홈페이지의 robots.txt는 사이트 루트에 일반 텍스트 파일로 두고, 수집이 필요 없는 관리자 화면 같은 경로만 막는 파일입니다. 구글 검색 센터는 robots.txt를 검색 결과에서 페이지를 숨기는 수단으로 쓰지 말라고 안내하므로, 숨겨야 할 페이지는 noindex나 로그인으로 막습니다. AI 학습 수집만 거절하고 싶다면 GPTBot·Google-Extended 같은 학습용 토큰만 막고, 검색용 봇과 Googlebot·Yeti는 열어 둡니다.

근거가 되는 숫자와 사실

• robots.txt는 사이트의 최상위 디렉터리에 있어야 하고, 그 파일이 있는 호스트·프로토콜·포트에만 적용된다 — 구글 검색 센터 「Google의 robots.txt 사양 해석 방법」(2026-09-11 업데이트), 확인일 2026-10-12
• 구글은 robots.txt를 500KiB까지만 읽고, 내용을 보통 최대 24시간 캐시하며, user-agent·allow·disallow·sitemap 필드만 지원한다(crawl-delay 미지원) — 같은 문서, 확인일 2026-10-12
• 구글은 429를 제외한 4xx 응답을 robots.txt가 없는 것으로 처리하고, 5xx 응답이 나오면 처음 12시간 동안 사이트 크롤링을 멈춘다 — 같은 문서, 확인일 2026-10-12
• robots.txt로 막은 URL도 다른 페이지에서 링크되면 설명 없이 검색 결과에 표시될 수 있으며, 검색에서 제외하려면 noindex나 비밀번호 보호를 써야 한다 — 구글 검색 센터 「robots.txt 소개 및 가이드」(2025-12-18 업데이트), 확인일 2026-10-12
• 네이버 검색로봇은 루트에 robots.txt가 없으면 모든 콘텐츠를 수집할 수 있다고 보고, 4xx는 '모두 허용', 5xx는 '모두 허용하지 않음'으로 해석한다 — 네이버 서치어드바이저 「robots.txt 설정하기」, 확인일 2026-10-12
• Google-Extended는 구글이 수집한 콘텐츠를 Gemini 모델 학습과 그라운딩에 쓸지 정하는 토큰이며, 구글 검색 포함 여부나 순위에는 영향을 주지 않는다 — 구글 「Google 일반 크롤러」 문서(2026-09-16 업데이트), 확인일 2026-10-12

robots.txt로 할 수 있는 일과 없는 일은?

robots.txt는 크롤러에게 "이 경로는 읽지 말라"고 알리는 파일입니다. 구글 문서는 주된 용도를 크롤러 요청에 따른 과부하 방지로 설명합니다. 사무소 홈페이지에서는 관리자 화면처럼 검색에 나올 이유가 없는 경로를 정리하는 데 씁니다.

반대로 강제력은 없습니다. 구글 문서는 robots.txt 지침이 크롤러 동작을 강제로 제어할 수 없다고 밝히고, 네이버 문서도 특수 용도 로봇은 규칙을 완벽하게 따르지 않을 수 있다고 안내합니다. 개인정보가 담긴 화면은 로그인으로 보호합니다.

페이지를 막는 방법은 어떻게 다른가?

목적에 따라 써야 할 수단이 다릅니다. 아래 표는 사무소 홈페이지에서 쓰는 네 가지 차단 방법을 비교한 것입니다.

noindex를 단 페이지를 robots.txt로 함께 막으면 안 됩니다. 구글 검색 센터 「noindex로 검색 색인 생성 차단」 문서는 noindex가 작동하려면 페이지가 robots.txt로 차단되지 않고 크롤러가 접근할 수 있어야 한다고 안내합니다. 오래된 글의 삭제 기준은 오래된 블로그 글은 삭제할지 고칠지 어떻게 정하나에 정리했습니다.

AI 봇은 어떻게 나눠서 설정하나?

OpenAI 문서는 OAI-SearchBot을 ChatGPT 검색에 사이트를 보여 주는 용도로, GPTBot을 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠 수집 용도로 설명하고, 두 설정은 서로 독립적이라고 밝힙니다. 그래서 학습은 거절하고 ChatGPT 검색 노출은 유지하는 설정이 가능합니다.

구글의 Google-Extended도 막아도 구글 검색 포함 여부와 순위에는 영향이 없습니다. 사용자가 질문할 때 페이지를 여는 ChatGPT-User는 robots.txt 규칙이 적용되지 않을 수 있다고 OpenAI 문서가 밝힙니다. 검색용 AI 봇의 역할은 ChatGPT·Perplexity 답변에 우리 사무소 글이 인용되려면 무엇이 필요한가에 있습니다.

설정은 어떤 순서로 하나?

1. 현재 파일 확인 — 브라우저에서 사이트 주소 뒤에 /robots.txt를 붙여 엽니다. 결과물은 응답 코드, 파일 형식, 막힌 경로 목록입니다.
2. 막을 경로 정하기 — 관리자 화면, 내부 검색 결과처럼 검색에 나올 이유가 없는 경로만 고릅니다. 네이버 문서는 파비콘·자바스크립트·CSS 경로는 허용하라고 권합니다.
3. 파일 작성 — UTF-8 일반 텍스트로 user-agent별 규칙을 쓰고, 마지막에 Sitemap 줄로 사이트맵 위치를 적습니다. 경로는 대소문자를 구분합니다.
4. 반영 확인 — 네이버 서치어드바이저의 robots.txt 도구에서 수집 요청과 검증을 하고, 구글 서치콘솔에서 robots.txt 상태를 봅니다. 구글은 보통 최대 24시간 캐시하고 OpenAI는 반영에 약 24시간이 걸린다고 안내하므로, 하루 뒤 다시 봅니다.

체크리스트

• robots.txt가 사이트 루트에서 200 응답과 일반 텍스트로 열린다
• Googlebot과 Yeti를 막는 규칙이 없다
• 관리자 화면 등 꼭 필요한 경로만 막았다
• noindex를 단 페이지를 robots.txt로 함께 막지 않았다
• AI 학습용 봇과 검색용 봇을 구분해 규칙을 썼다
• Sitemap 줄에 사이트맵 전체 주소를 적었다

자주 묻는 질문

Q1. robots.txt란 무엇인가요?

A. 검색로봇에게 사이트에서 수집해도 되는 경로와 안 되는 경로를 알리는 일반 텍스트 파일입니다.

Q2. robots.txt가 없으면 어떻게 되나요?

A. 네이버 검색로봇은 루트에 파일이 없으면 모든 콘텐츠를 수집할 수 있다고 봅니다.

Q3. 상담 신청 완료 페이지는 어떻게 처리하나요?

A. 검색에 나올 이유가 없다면 noindex 메타 태그를 답니다. 신청 내용이 화면에 표시된다면 noindex가 아니라 로그인으로 보호해야 합니다.

Q4. robots.txt를 고치는 데 비용이 드나요?

A. 파일 하나를 루트에 올리는 작업이라 별도 비용은 들지 않습니다.

Q5. 블로그 글 경로를 막아도 되나요?

A. 검색과 AI 답변에 노출하려는 블로그 글 경로는 막지 않습니다.

Q6. 파일을 고친 뒤 얼마나 지나야 반영되나요?

A. 구글은 robots.txt를 보통 최대 24시간 캐시하고, OpenAI는 검색 반영에 약 24시간이 걸린다고 안내합니다.

Q7. www 주소와 www 없는 주소는 따로 설정하나요?

A. robots.txt 규칙은 같은 호스트·프로토콜·포트에만 적용됩니다. 두 주소를 쓴다면 각 주소의 robots.txt를 따로 확인합니다.

Q8. 네이버 블로그도 robots.txt를 설정할 수 있나요?

A. 네이버 블로그의 robots.txt는 네이버가 관리하므로 사무소가 바꿀 수 없습니다.

Q9. 서버 오류가 나면 어떤 위험이 있나요?

A. 네이버는 robots.txt의 5xx 응답을 '모두 허용하지 않음'으로 해석하고, 구글은 처음 12시간 동안 사이트 크롤링을 멈춥니다. 점검 뒤에는 200 응답부터 확인합니다.

Q10. 지금 무엇부터 하면 되나요?

A. 사이트 주소 뒤에 /robots.txt를 붙여 열고 응답이 200인지, Googlebot·Yeti를 막는 줄이 없는지부터 확인합니다.

정리

robots.txt는 수집할 경로를 알리는 파일이지 페이지를 숨기는 장치가 아니므로, 막을 경로는 관리자 화면처럼 꼭 필요한 곳으로 줄이고 숨길 페이지는 noindex나 로그인으로 처리합니다. AI 학습 거절과 AI 검색 노출은 봇 이름을 나눠 따로 정할 수 있습니다. 사무소 홈페이지의 robots.txt와 사이트맵을 한 번에 점검받고 싶다면 무료 진단 신청을 남겨 주세요.

참고한 공식 자료

• 구글 검색 센터 · Google의 robots.txt 사양 해석 방법(2026-09-11 업데이트) · https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=ko · 확인일 2026-10-12
• 구글 검색 센터 · robots.txt 소개 및 가이드(2025-12-18 업데이트) · https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko · 확인일 2026-10-12
• Google 크롤링 인프라 · Google 일반 크롤러(Google-Extended, 2026-09-16 업데이트) · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=ko · 확인일 2026-10-12
• 구글 검색 센터 · noindex로 검색 색인 생성 차단(2025-12-31 업데이트) · https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ko · 확인일 2026-10-12
• 네이버 서치어드바이저 · robots.txt 설정하기 · https://searchadvisor.naver.com/guide/seo-basic-robots · 확인일 2026-10-12
• OpenAI · Overview of OpenAI Crawlers · https://developers.openai.com/api/docs/bots · 확인일 2026-10-12