삭제한 페이지에 404와 410 중 무엇을 반환해도 구글의 처리는 같습니다. 구글 Search Central의 HTTP 상태 코드 문서는 429를 제외한 4xx 응답을 모두 같은 방식으로 처리한다고 설명하고, 404와 410을 따로 다르게 처리한다는 문장은 없습니다. 구글 문서는 410이 404보다 빨리 빠진다고 적지 않습니다.
구글은 4xx 응답을 어떻게 처리하는가
구글 문서에 따르면 구글 크롤러는 4xx 응답을 받으면 다음 처리 시스템에 콘텐츠가 없다고 알립니다. 검색 색인 시스템은 그 URL이 이미 색인되어 있으면 색인에서 제거합니다.
새로 발견한 404 페이지는 처리하지 않으며, 크롤링 빈도는 점차 줄어듭니다. 4xx(429 제외)는 크롤 속도에도 영향을 주지 않습니다. 문서의 4xx 목록에는 401, 403, 404, 410, 411, 429가 나란히 있습니다.
응답 코드별 정리
| 응답 | 구글의 처리 |
|---|---|
| 404, 410을 포함한 4xx(429 제외) | 콘텐츠가 없다고 처리하고, 이미 색인된 URL은 색인에서 제거합니다 |
| 429 | 서버 과부하 신호로 서버 오류와 같이 취급합니다 |
| 5xx | 크롤러를 일시적으로 느리게 하며, 이미 색인된 URL은 보존됩니다 |
| 2xx이지만 내용이 비었거나 오류 메시지 | Search Console이 soft 404 오류로 보여 줍니다 |
서버 장애 상황의 영향은 Search Console의 크롤 통계에서 보는 것이 정확합니다.
그래서 무엇을 반환하면 되는가
구글 기준으로는 404와 410 사이의 차이가 문서에 없으므로, 서버에서 정확하게 구현할 수 있는 쪽을 쓰면 됩니다. 이미 404가 잘 나오는 사이트를 410으로 바꾸려고 작업하는 것은 구글 문서가 뒷받침하는 개선이 아닙니다.
다만 삭제한 페이지에 오류 안내 화면만 보여 주고 상태 코드는 200으로 응답하는 사이트가 있습니다. 이 경우 Search Console에 soft 404 오류가 쌓입니다. 삭제 페이지의 상태 코드를 직접 확인하는 것이 코드 선택보다 먼저입니다.
soft 404가 문제가 되는 경우
구글의 canonical 문제 해결 문서는 서버 설정 오류로 서로 무관한 두 서버가 똑같은 soft 404 페이지를 반환하면 구글이 오류 페이지로 식별하지 못할 수 있다고 적었습니다. 그러면 서로 다른 URL이 같은 페이지로 묶이는 문제가 생길 수 있습니다. 대표 URL 선택 문제는 구글이 canonical 태그를 따르지 않을 때 확인할 내용에서 다룹니다.
크롤 속도를 제한하려고 4xx를 쓰면 안 됩니다
구글 문서는 401이나 403으로 크롤 속도를 제한하지 말라고 안내합니다. 서버 부하 때문에 크롤러를 늦추고 싶다면 문서가 서버 과부하 신호로 설명하는 429나 5xx를 써야 합니다. 삭제하지 않은 페이지에 401, 403, 404를 응답하면 그 페이지가 색인에서 빠질 수 있습니다.
삭제 전에 정할 것
삭제하기로 한 페이지는 구글 입장에서는 4xx가 나오는 순간 콘텐츠가 없는 URL이 됩니다. 이미 색인된 URL은 색인에서 제거되므로, 삭제 대상에 검색 유입이 있던 페이지가 섞여 있지 않은지 먼저 확인해야 합니다. Search Console 성과 보고서에서 삭제할 URL의 최근 노출과 클릭을 확인하면 영향 범위를 가늠할 수 있습니다.
일시적으로 접근을 막는 것과 삭제는 구분해야 합니다. 점검 중이라는 이유로 4xx를 응답하면 구글은 콘텐츠가 없다고 처리합니다. 일시 중단이라면 서버 오류 계열을 쓰는 것이 문서의 설명에 맞고, 이 경우 이미 색인된 URL은 보존됩니다.
삭제 작업 후 점검 순서
- 삭제한 URL 몇 개의 상태 코드를 직접 조회해 404나 410이 나오는지 확인합니다.
- 사이트맵에 삭제한 URL이 남아 있지 않은지 봅니다. 사이트맵 관리는 사이트맵 lastmod, 언제 수정하고 언제 그대로 둘까?에 정리했습니다.
- Search Console에서 soft 404 오류가 새로 생기지 않았는지 확인합니다.
- 삭제한 페이지로 들어오는 내부 링크가 남아 있으면 고칩니다.
- 서버 오류(5xx)로 일시 중단한 것이 아닌지, 응답 코드가 의도와 맞는지 다시 봅니다.
삭제한 페이지가 많은 사이트는 처리 후 크롤링 빈도가 점차 줄어드는 것을 정상으로 보면 됩니다. 구글 문서도 새로 발견한 404는 처리하지 않고 크롤링 빈도가 줄어든다고 설명합니다.
참고한 자료
- 구글 Search Central, HTTP 상태 코드와 네트워크, DNS 오류: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
- 구글 Search Central, canonical 문제 해결: https://developers.google.com/search/docs/crawling-indexing/canonicalization-troubleshooting