소개
최근 LinkedIn 게시물에서 Google 애널리스트 Gary Illyes는 로봇.txt 파일을 루트 도메인에 배치하는 기존의 접근 방식에 이의를 제기했습니다. 그는 이 러한 파일을 CDN(콘텐츠 전송 네트워크)에 중앙 집중화하여 유연성과 향상된 관리 기능을 제공하는 대체 방법을 소개했습니다.
주요 인사이트:
- Robots.txt 유연성:
-
robots.txt 파일은 루트 도메인에 있을 필요는 없습니다(예: example.com/robots.txt).
-
웹사이트는 기본 웹사이트와 CDN 모두에서 robots.txt 파일을 호스팅할 수 있습니다.
- 중앙 집중식 Robots.txt 관리:
-
웹사이트는 CDN에서 robots.txt를 호스팅함으로써 크롤링 지시문을 중앙 집중화하고 간소화할 수 있습니다.
-
예를 들어 한 사이트에서 https://cdn.example.com/robots.txt 에서 robots.txt를 호스팅하고 https://www.example.com/robots.txt 의 요청을 이 중앙 집중식 파일로 리디렉션할 수 있습니다.
- 업데이트된 표준 준수:
- RFC9309를 준수하는 크롤러는 리디렉션을 따라 원래 도메인에 대한 중앙 집중식 robots.txt 파일을 사용합니다.
실질적인 혜택:
1. 중앙 집중식 관리:
- robots.txt 규칙을 한 곳에 통합하면 웹 사이트 전반에서 유지 관리 및 업데이트가 간소화됩니다.
2. 일관성 향상:
- robots.txt 규칙의 단일 소스는 메인 사이트와 CDN 간에 충돌하는 지시어가 발생할 위험을 줄여줍니다.
3. 향상된 유연성:
- 이 방법은 복잡한 아키텍처, 여러 하위 도메인이 있거나 CDN을 광범위하게 사용하는 웹사이트에 특히 유용합니다.
로봇의 30년을 돌아보며.txt
로봇 제외 프로토콜(REP)이 30주년을 맞이한 가운데, 일리예스의 인사이트는 웹 표준의 지속적인 진화를 강조합니 다. 그는 크롤링 지시어 관리 방식이 향후 변화할 가능성을 암시하며 기존의 "robots.txt" 파일 이름이 항상 필요한 것은 아닐 수도 있음을 시사하기도 했습니다.
이 접근 방식을 구현하는 방법:
1. 중앙 집중식 robots.txt 파일을 생성합니다:
- CDN(예: https://cdn.example.com/robots.txt)에서 포괄적인 robots.txt 파일을 호스팅합니다.
2. 리디렉션을 설정합니다:
- robots.txt 요청을 CDN 호스팅 파일로 리디렉션하도록 기본 도메인을 구성합니다.
3. 규정 준수 확인:
- 규정을 준수하는 크롤러가 리디렉션을 올바르게 따를 수 있도록 설정이 RFC9309를 준수하는지 확인하세요.
결론
CDN에서 robots.txt 파일 중앙 집중화에 대한 Gary Illyes의 가이드는 크롤링 지시어 관리에 대한 최신 접근 방식을 제공합니다. 이 방법은 특히 복잡한 인프라를 갖춘 사이트의 경우 유연성, 일관성, 관리 용이성을 향상시킵니다. 이 전략을 도입하면 사이트 관리를 간소화하고 잠재적으로 SEO 노력을 개선할 수 있습니다.
