TL;DR
구글과 네이버의 robots 설정을 함께 검수할 때는 같은 파일을 읽더라도 결과를 엔진별로 나눈다. 다른 엔진의 도구에서 정상이라고 나온 사실을 복사해 전체 허용으로 처리하지 않는다. 배포된 파일, 대상 경로, 적용할 로봇, 엔진별 공식 설명을 함께 확인한 표가 필요하다.
공통 파일과 엔진별 해석을 구분한다
Google은 크롤러마다 robots.txt 문법을 다르게 해석할 수 있다고 안내한다. 수집 규칙이 표준을 따른다고 해서 모든 검색 로봇의 세부 동작을 같은 것으로 가정하면 안 된다. 검수 대상이 Googlebot인지 네이버 검색로봇인지 먼저 적고 각각의 공식 문서에서 해당 동작을 확인한다. 한쪽에서만 제공하는 설정을 다른 쪽에도 그대로 적용된다고 쓰지 않는다.
네이버는 robots.txt가 사이트의 루트 디렉터리에 있어야 하며 일반 텍스트 파일로 접근 가능해야 한다고 설명한다. 내부 저장소의 파일을 읽는 것과 실제 호스트의 루트에서 제공되는 응답을 확인하는 것은 다르다. 운영 주소가 여러 개라면 검수 중인 호스트를 먼저 고정한다. 파일 이름이 같다는 이유만으로 다른 호스트의 응답을 대신 확인하지 않는다.
네이버 안내에서 robots.txt 규칙은 같은 호스트, 프로토콜, 포트 하위의 페이지에 적용된다. 따라서 보안 주소와 비보안 주소, 대표 호스트와 다른 하위 호스트를 한 결과로 묶으면 범위가 흐려진다. 실제 운영하는 공개 주소를 목록으로 만들고 어느 주소의 파일을 읽었는지 남긴다. 사용하지 않는 주소까지 새로 만들 필요는 없지만 이미 공개된 다른 호스트를 놓치지는 않아야 한다.
엔진별 허용·차단 검수표
표의 한 행은 엔진과 대상 주소의 조합으로 둔다. 엔진 이름, 확인한 호스트, 경로 목적, 기대 결과, 배포 파일의 적용 규칙, 실제 검수 결과, 확인일을 기록한다. 예를 들어 공개 서비스 안내는 허용 기대, 운영용 경로는 별도 정책 검토로 구분한다. 기대 결과가 정해지지 않은 주소를 도구가 통과했다는 이유만으로 정상 표시하지 않는다.
구글과 네이버의 결과가 다르면 규칙을 즉시 바꾸기보다 두 검수의 입력을 비교한다. 서로 다른 호스트를 확인했는지, 경로의 대소문자나 끝부분이 달랐는지, 배포 전후의 파일을 섞어 읽었는지부터 살핀다. 입력이 다르면 엔진의 해석 차이라고 결론 내릴 근거가 부족하다. 같은 조건을 확보한 뒤 공식 문서에 해당하는 차이를 확인한다.
배포 확인과 검색 제외 확인은 별도다
수집 차단을 확인했다고 검색 결과에서 사라졌다고 보고하지 않는다. Google 문서는 robots.txt를 웹페이지 검색 제외 장치로 쓰지 말라고 설명한다. 비공개 자료라면 로그인 같은 접근 통제가 필요한지도 확인한다. 이 판단은 수집 규칙의 테스트 결과로 대체할 수 없다. 공개 목적과 자료 보호 요구를 먼저 구분해야 한다.
운영자가 파일을 수정했다면 공개 응답이 바뀐 시점을 남긴다. 네이버 도구의 확인 결과와 Google 쪽 점검 결과의 날짜가 다를 때는 그 차이도 기록한다. 둘 중 더 최근 결과만으로 나머지 결과까지 갱신된 것으로 처리하지 않는다. 검색엔진의 실제 수집은 배포 직후 곧바로 동일하게 바뀐다고 가정하지 않는다.
부하나 접근 문제도 수집 규칙과 나눠 확인한다. robots 파일은 허용인데 페이지를 여는 요청이 방화벽에서 차단될 수 있다. 이 경우 허용 규칙을 더 추가하는 것으로 끝내지 말고 실제 응답이 왜 달라지는지 기술 담당자가 조사해야 한다. 검수표에는 규칙 정상, 페이지 접근 보류처럼 단계별 상태를 표시해 해결되지 않은 부분을 숨기지 않는다.
검수 담당자가 바뀌더라도 원래 기대 결과를 알 수 있도록 공개 목적의 승인자를 남긴다. 규칙의 의미를 알지 못한 채 이전 결과만 복사해 점검을 끝내지 않도록 하기 위해서다.
마무리
두 검색엔진을 검수했다는 보고에는 각각의 입력과 결과가 있어야 한다. 공식 설명과 배포된 파일을 대조하고 같은 호스트·경로 조건인지 확인한다. 엔진별 검수표가 있으면 파일 설정, 페이지 접근, 검색 제외를 서로 다른 문제로 나누어 처리할 수 있다.