TL;DR
robots.txt 차단과 noindex가 함께 있는 페이지는 원하는 최종 상태부터 정한다. 공개 열람을 유지하면서 Google 검색에서 빼려는지, 비밀 자료의 접근을 막으려는지에 따라 조정 방향이 다르다. 두 설정을 많이 겹치는 것이 더 확실한 보호를 뜻하지 않는다.
지시를 전달할 수 있는 상태인지 본다
Googlebot은 robots.txt로 차단된 페이지에서 noindex 지시를 읽을 수 없다. 검색 제외 지시를 넣었는데 수집 자체를 막아 두면 Google이 지시를 확인할 기회를 잃는다. 겉으로는 두 조치를 모두 했지만 각 조치의 목적이 충돌하는 상황이다. 먼저 대상 주소에서 어느 규칙이 적용되는지, 현재 페이지 응답에 어떤 지시가 있는지 한곳에 모은다.
Google은 robots.txt로 막힌 웹페이지 주소가 다른 곳의 링크를 통해 검색 결과에 나타날 수 있다고 설명한다. 차단했는데 주소가 보인다는 현상을 해석하려면 본문 수집과 URL 발견을 구분해야 한다. 운영자는 어떤 검색 화면에서 무엇을 봤는지 기록하고, 기술 담당자는 그 주소의 실제 접근 상태를 확인한다. 주소 표시만으로 Google이 차단된 본문을 새로 읽었다고 단정하지 않는다.
최종 목적에 따라 조정안을 나눈다
공개 안내를 검색에서 제외하려는 경우에는 지시를 읽을 수 있는 조건을 검토한다. 반면 개인 자료를 보호하려는 경우에는 검색 수집 허용을 먼저 열어서는 안 된다. 자료의 민감도와 외부 열람 가능성을 확인하고 필요한 접근 통제를 유지해야 한다. 검색 제외를 처리하기 위해 비밀 정보를 잠깐 공개하자는 식으로 단순화하면 목적을 거꾸로 적용하게 된다.
Google은 웹에서 비밀로 유지해야 하는 자료에 비밀번호 보호 같은 다른 접근 제한 방식을 사용하라고 안내한다. 따라서 검수표에는 수집 허용과 사람의 공개 열람 허용을 별도 칸에 둔다. noindex는 인증을 대신하지 않으며, robots 규칙은 사용자의 직접 방문을 막는 장치가 아니다. 공개 목적을 모르면 설정 수정부터 진행하지 말고 자료 담당자의 판단을 받는다.
충돌 해소 순서를 기록한다
작업표는 대상 주소, 자료 성격, 원하는 검색 상태, 현재 robots 규칙, 현재 noindex 전달 위치, 접근 통제, 수정안으로 구성한다. 각 수정안에는 왜 그 순서를 선택했는지 짧게 적는다. 공개 안내인데 Google 검색에서 빼려는 경우와 이미 폐쇄해야 하는 자료의 경우를 같은 일괄 수정에 포함하지 않는다. 서로 다른 목표를 하나의 규칙으로 덮지 않기 위해서다.
메타 태그와 응답 헤더의 값이 다르면 한쪽만 확인한 상태로 완료 표시하지 않는다. 같은 글이 여러 주소에서 제공되면 각각의 지시와 대표 주소 관계도 확인한다. 운영 도구에 적힌 설정명은 비슷해도 실제 응답이 다를 수 있으므로 공개된 응답을 기준으로 기술 담당자가 대조한다. 검수하지 못한 주소는 별도 보류로 남긴다.
수정 뒤에는 배포 확인과 Google의 새 처리 확인을 구분한다. 공개 응답이 의도와 일치했다는 사실을 먼저 남기고 검색 결과에서 확인한 상태는 확인일과 함께 추가한다. 이전 검색 화면과 새 설정 화면을 같은 시점의 증거처럼 합치지 않는다. 처리 시점이 다른 자료를 섞으면 설정 충돌이 남았는지 단순한 반영 시간차인지 가르기 어렵다.
변경 담당자가 확인해야 할 예외
폴더 규칙을 바꾸면 그 안의 다른 자료까지 영향받을 수 있다. 대상 글 하나의 검색 제외를 위해 경로 전체를 열거나 닫기 전에 포함된 파일을 점검한다. 공개 이미지나 스타일 자원과 비밀 문서가 섞여 있으면 경로 구성의 문제도 별도로 다뤄야 한다. 현재 필요한 수정과 더 넓은 구조 개선을 구분해 전달한다.
충돌을 해소했다고 검색 반영까지 완료됐다고 보고하지 않는다. 원하는 상태와 현재 확인된 결과를 두 줄로 남기면 담당자가 다음 확인을 이어갈 수 있다. 확인 시점이 다른 엔진 결과도 한 칸에 합치지 않는다. 이 작업표는 Google이 지정한 양식이 아니라 설정의 목적과 결과를 연결하기 위한 운영 절차다.
마무리
두 설정이 겹친 페이지는 차단을 더하는 방식보다 목적과 전달 경로를 먼저 정리한다. 공개 목적, 지시를 읽을 수 있는 조건, 실제 접근 통제를 나누어 판단해야 한다. 충돌 해소 작업표와 배포 증거를 남기고 Google의 새 확인 결과는 별도 상태로 관리한다.