소개
최근 LinkedIn 게시물에서 Google 애널리스트 Gary Illyes는 로봇.txt 파일을 루트 도메인에 배치하는 기존의 접근 방식에 이의를 제기했습니다. 그는 이러한 파일을 CDN(콘텐츠 전송 네트워크)에 중앙 집중화하여 유연성과 향상된 관리 기능을 제공하는 대체 방법을 소개했습니다.
주요 인사이트:
- Robots.txt 유연성:
-
robots.txt 파일은 루트 도메인에 있을 필요는 없습니다(예: example.com/robots.txt).
-
웹사이트는 기본 웹사이트와 CDN 모두에서 robots.txt 파일을 호스팅할 수 있습니다.
- 중앙 집중식 Robots.txt 관리:
-
웹사이트는 CDN에서 robots.txt를 호스팅함으로써 크롤링 지시문을 중앙 집중화하고 간소화할 수 있습니다.
-
예를 들어 한 사이트에서 https://cdn.example.com/robots.txt 에서 robots.txt를 호스팅하고 https://www.example.com/robots.txt 의 요청을 이 중앙 집중식 파일로 리디렉션할 수 있습니다.
- 업데이트된 표준 준수:
- RFC9309를 준수하는 크롤러는 리디렉션을 따라 원래 도메인에 대한 중앙 집중식 robots.txt 파일을 사용합니다.
실질적인 혜택:
1. 중앙 집중식 관리:
- robots.txt 규칙을 한 곳에 통합하면 웹 사이트 전반에서 유지 관리 및 업데이트가 간소화됩니다.
2. 일관성 향상:
- robots.txt 규칙의 단일 소스는 메인 사이트와 CDN 간에 충돌하는 지시어가 발생할 위험을 줄여줍니다.
3. 향상된 유연성:
- 이 방법은 복잡한 아키텍처, 여러 하위 도메인이 있거나 CDN을 광범위하게 사용하는 웹사이트에 특히 유용합니다.
로봇의 30년을 돌아보며.txt
로봇 제외 프로토콜(REP)이 30주년을 맞이한 가운데, 일리예스의 인사이트는 웹 표준의 지속적인 진화를 강조합니다. 그는 크롤링 지시어 관리 방식이 향후 변화할 가능성을 암시하며 기존의 "robots.txt" 파일 이름이 항상 필요한 것은 아닐 수도 있음을 시사하기도 했습니다.
이 접근 방식을 구현하는 방법:
1. 중앙 집중식 robots.txt 파일을 생성합니다:
- CDN(예: https://cdn.example.com/robots.txt)에서 포괄적인 robots.txt 파일을 호스팅합니다.
2. 리디렉션을 설정합니다:
- robots.txt 요청을 CDN 호스팅 파일로 리디렉션하도록 기본 도메인을 구성합니다.
3. 규정 준수 확인:
- 규정을 준수하는 크롤러가 리디렉션을 올바르게 따를 수 있도록 설정이 RFC9309를 준수하는지 확인하세요.
결론
CDN에서 robots.txt 파일 중앙 집중화에 대한 Gary Illyes의 가이드는 크롤링 지시어 관리에 대한 최신 접근 방식을 제공합니다. 이 방법은 특히 복잡한 인프라를 갖춘 사이트의 경우 유연성, 일관성, 관리 용이성을 향상시킵니다. 이 전략을 도입하면 사이트 관리를 간소화하고 잠재적으로 SEO 노력을 개선할 수 있습니다.
