TL;DR
디렉터리를 robots.txt에서 막기 전에는 수집 요청을 줄이려는지, 검색에 보이지 않게 하려는지, 외부 열람 자체를 막으려는지 정해야 한다. 세 목적은 필요한 조치가 다르다. 관리자 자료를 보호하는 결정과 공개 페이지의 수집 정책을 한 줄의 차단 규칙으로 대신하지 않는다.
차단하려는 이유부터 적는다
Google의 robots.txt 안내는 이 파일을 검색 결과에서 웹페이지를 숨기는 수단으로 사용하지 말라고 설명한다. robots.txt는 크롤러가 접근할 주소를 안내하지만 방문자의 직접 열람을 막는 인증 기능은 아니다. 디렉터리 이름에 관리나 비공개라는 말이 있어도 실제 보호 수준을 증명하지 않는다. 해당 경로에 들어 있는 자료와 공개되었을 때의 영향을 먼저 확인한다.
업무용 참고 문서처럼 외부에 보여도 되지만 검색 결과에는 필요 없는 자료와, 개인 정보가 있어 외부에 노출되면 안 되는 자료를 나눈다. 전자는 검색 노출 정책을 검토할 수 있으나 후자는 접근 통제가 우선이다. 자료 내용이 확인되지 않았다면 보안상 안전하다고 결론 내리지 말고 소유 담당자에게 공개 권한을 확인한다.
Google은 다른 페이지에서 연결된 주소라면 robots.txt로 막아도 그 URL이 검색 결과에 나타날 수 있다고 안내한다. 그러므로 차단 후 검색창에서 주소가 보인다는 사실만으로 규칙이 전혀 적용되지 않았다고 단정하지 않는다. 어떤 검색엔진에서 무엇이 표시됐는지, 설명문과 본문이 확인되는지 나눠 기록한다. Google 문서의 이 설명을 모든 크롤러가 같은 방식으로 처리한다는 뜻으로 확대하지 않는다.
디렉터리별 목적 결정표
표에는 경로의 업무 목적, 자료 소유자, 공개 허용, 검색 허용, 수집 허용, 필요한 조치, 확인 담당자를 둔다. 공개 안내 자료라면 정상적인 발견 경로를 유지하는지 살핀다. 서버 부하나 의미 없는 반복 주소가 문제라면 수집 범위를 검토한다. 비밀 자료라면 로그인 등 실제 접근 통제 유무를 확인한다. 선택 이유를 한 문장으로 남기면 이후 규칙을 수정할 때 맥락이 보존된다.
Googlebot이 noindex 지시를 확인하려면 페이지가 크롤러에게 접근 가능해야 한다. 검색 제외를 위해 noindex를 사용하려는 경로를 robots.txt로 먼저 막아 버리면 지시를 읽을 기회가 없어질 수 있다. 기존 설정을 보지 않고 새로운 차단을 추가해서는 안 되는 이유다. 페이지 응답의 지시와 루트의 수집 규칙을 함께 대조하고 충돌 여부를 적는다.
폴더 전체 규칙의 영향 범위를 살핀다
관리용 경로 안에 실제 공개 이미지나 글이 섞여 있을 수 있다. 폴더 하나를 대상으로 한 규칙이 공개 페이지의 설명 자료까지 포함하는지 주소 목록을 펼쳐 본다. 새 차단 대상의 대표 예시만 보지 말고 그 경로를 참조하는 공개 페이지도 검토한다. 기능에 영향을 주는 자원은 기술 담당자가 실제 화면과 함께 확인해야 한다.
변경 전후에는 같은 주소를 사용해 비교한다. 페이지 A를 막기 전에는 관리자 계정으로 보고, 변경 후에는 익명으로 보면 접근 조건이 달라 원인을 해석하기 어렵다. 공개 허용 여부를 판단할 때는 익명 열람 조건을 유지하고, 검색엔진별 검수 도구의 결과는 엔진 이름과 확인일을 붙여 남긴다. 다른 엔진 결과를 대신 적지 않는다.
규칙 제거가 곧 공개 승인을 뜻하지 않도록 운영 책임도 정한다. 외부 열람을 막아야 하는 자료가 발견되면 콘텐츠 담당자가 자료를 분류하고 기술 담당자가 접근 통제를 확인해야 한다. robots 설정을 수정한 담당자 한 명에게 자료의 법적 공개 가능성까지 판단하게 하지 않는다. 이는 역할을 분명히 하기 위한 운영 제안이다.
최종 규칙을 적용한 뒤 실제 공개 파일을 다시 확인한다. 내부 설정 파일의 저장 성공만으로 외부 응답까지 바뀌었다고 가정하지 않는다.
마무리
완료 기준은 차단 줄을 추가한 사실이 아니라 경로별 목적과 필요한 보호 방식이 맞는지다. 공개·검색·수집 허용을 나눈 결정표를 남겨 두면 수집 제어를 비밀 유지 장치로 오해하는 일을 줄일 수 있다. 미확인 자료가 있다면 차단 완료로 묶지 말고 공개 권한 확인 항목으로 보류한다.