AI 웹이 콘텐츠 검색을 다시 쓰는 방법: 검색 순위에서 소스 검색까지

소개

수십 년 동안 웹은 콘텐츠를 게시하고, 크롤링되고, 검색 순위에 오르면 트래픽이 따라오는 단순한 거래에 기반을 두고 있었습니다. 링크, 권한, 속도, 키워드 등의 수단은 알려져 있었고, 게임은 투명했습니다. 가시성은 곧 발견과 같았습니다. 발견은 곧 성장으로 이어졌습니다.

오늘날 그 계약은 조용히 해체되고 있습니다.

ChatGPT, 퍼플렉시티, 클로드 및 이와 유사한 AI 엔진 및 생성 엔진 최적화의 부상으로 인해 정보가 검색, 합성 및 표시되는 방식이 재편되고 있습니다. AI는 더 이상 사용자를 페이지로 안내하지 않습니다. 사용자에게 직접 대답합니다. 클릭 한 번 없이도 내용을 읽고, 이해하고, 의역합니다. 이 새로운 세상에서 콘텐츠는 위치를 차지하기 위해 싸우지 않습니다. 이해도를 높이기 위해 싸우는 것입니다.

AI가 정보를 쉽게 분석하고, 문맥을 파악하고, 신뢰하지 못한다면 뒤처지는 것만이 아닙니다. 사라집니다.

안녕, 랭킹. 안녕, 검색.

기존의 검색 엔진은 문서를 색인하는 방식으로 작동했습니다. 웹의 스냅샷을 저장하고 권위와 관련성에 따라 순위를 매긴 다음 사용자를 전송했습니다. 제너레이티브 엔진은 이와는 다르게 작동합니다. 생성 엔진은 여러 소스에서 복합적인 답변을 구축합니다. 샘플링하고, 추론하고, 종합합니다. 이 세상에서 가시성이란 페이지에서의 위치가 아닙니다. 기계가 답변을 구성할 때 신뢰할 수 있는 자료로 선택되는 것을 의미합니다.

구조화되고 요약되어 기계가 쉽게 소화할 수 없는 콘텐츠는 노이즈로 취급될 수 있습니다. 아니면 아예 노출되지 않을 수도 있습니다.

사실상 검색이 순위를 추월한 셈입니다. 그리고 대부분의 웹사이트가 이를 따라잡지 못하고 있습니다.

인간을 위한 웹, 그리고 기계를 위한 웹

이러한 변화의 중심에는 조용한 문제가 있습니다. 웹사이트는 이런 종류의 독자를 위해 설계된 적이 없다는 것입니다.

이러한 엔진은 자바스크립트로 가득 차 있고, 레이아웃 체조로 인해 부담이 되며, 인간에게는 눈부시지만 파서를 당황하게 하는 UX의 화려함에 짓눌려 있습니다. 제너레이티브 엔진에 필요한 것은 깔끔하고 구조화되어 있으며 검증 가능한 정보, 그리고 빠른 속도입니다.

하지만 오늘날에는 "여기 의미 있는 부분이 있습니다."라는 네이티브 신호가 없습니다. 믿을 수 있는 부분이 여기 있습니다."

이러한 공백을 메우기 위해 사이트 루트에서 기계 친화적인 요약을 제공하려는 풀뿌리 시도인 llms.txt와 같은 이니셔티브가 등장했습니다. 방해 요소를 제거하고 제목, 요약, 주요 링크만 나열하는 간단한 마크다운입니다. 지나가는 인공지능에 대한 참고 사항: 중요한 것은 다음과 같습니다.

이와 동시에 Anthropic의 모델 컨텍스트 프로토콜(MCP)과 같은 보다 야심찬 프레임워크가 등장하여 AI 에이전트가 서버에서 실시간으로 허가된 라이브 데이터를 쿼리할 수 있는 실제 프로토콜을 정의하고 있습니다. MCP는 추측이 아니라 이미 채택되고 있으며, OpenAI가 Anthropic에 합류하여 이를 지원하고 있습니다.

목표는 분명합니다. 크롤링하지 않고 대화하는 머신을 위한 웹을 구축하는 것입니다.

희망적인 힌트부터 공식적인 채널까지

llms.txt는 여러 면에서 초기 웹의 DIY 정신을 반영합니다. 표준 위원회를 기다릴 필요 없이 간단하게 수정하고 빠르게 배포할 수 있다는 점이죠. 공식적인 검증이나 버전 관리도 없습니다. 성공 여부는 AI 엔진이 이를 인식하고 구문 분석하여 그 내용을 존중한다는 선의에 달려 있습니다.

이와는 대조적으로 MCP는 버전이 지정되고, 사양이 지정되고, 문서화된 완전한 프로토콜로 설계되었습니다. 웹사이트가 요청 시 어트리뷰션, 컨텍스트 형성 및 보호 기능을 통해 제어된 라이브 정보 조각을 AI 에이전트에 노출하는 미래를 상상할 수 있습니다. AI는 오래된 페이지를 스크랩하는 대신 구조화된 엔드포인트에 대해 구조화된 질문을 할 수 있습니다.

Sourcegraph 및 Block(Square)과 같은 회사의 초기 구현은 사이트와 생성 시스템 간의 실시간, 인증된 협력적 지식 전달이 어떤 모습일 수 있는지 보여줍니다.

더 이상 크롤러의 웹이 아닙니다. 대화형 웹이 되고 있습니다. 그리고 MCP와 같은 프로토콜은 가까운 미래에 사이트가 인간용과 기계용의 두 가지 API를 갖게 될 것임을 암시합니다.

포함되는 대가

물론 한 가지 단점이 있습니다. MCP 및 관련 프레임워크를 통한 가시성은 무임승차가 아닙니다.

실시간 데이터를 노출하려면 속도, 보안, 브랜드 안전성 간의 균형을 맞춰야 합니다. 얼마나 노출할 것인가라는 새로운 위험 계산법이 생겼습니다. 데이터가 잘못 인용되거나 오용되지 않도록 어떻게 보장할 수 있을까요? MCP와 같은 프로토콜은 범위 지정 쿼리, 메타데이터 적용, 컨텍스트 어트리뷰션을 허용하지만, 여전히 신뢰와 경계, 머신 소비에 맞게 인프라를 조정하려는 의지가 필요합니다.

하지만 대부분의 웹사이트에서는 보이지 않음이라는 더 나쁜 대안이 있습니다.

정보를 쉽게 구조화, 요약, 검색할 수 없다면 제품 추천부터 전문가 인용에 이르기까지 AI가 생성하는 대화에서 점점 더 소외될 것입니다.

새로운 종류의 웹 존재감 구축

이 새로운 시대의 성공은 한 번에 두 명의 잠재고객을 위한 구조를 갖춘 사이트에 달려 있습니다.

기계가 읽을 수 있는 요약, 깔끔한 의미 체계, 사실의 명확성, 투명한 권한 마커를 채택할 것입니다. 이들은 llms.txt 및 MCP와 같은 새로운 표준을 번거로운 작업이 아닌 레버리지로 사용할 것입니다.

도구는 이미 도움을 주고 있습니다. Geordy와 같은 솔루션은 llms.txt 파일에서 YAML 스키마에 이르기까지 AI에 최적화된 구조화된 결과물 생성을 자동화하여 웹사이트가 올바르게 해석되기를 기대하는 대신 기계에 대한 내러티브를 선제적으로 형성할 수 있는 방법을 제공합니다.

인공지능 웹에서 희망은 전략이 아니기 때문입니다.

새로운 가시성 약관

웹은 인간을 위한 버전과 기계를 위한 버전으로 세분화되고 있습니다. 그리고 후자를 위한 규칙은 여전히 작성 중입니다.

지금은 AI를 위한 구조화된 레이어를 배포하는 것이 선택 사항이지만, 미래에는 필수 사항이 될 수도 있습니다.

이 조용한 프로토콜 전쟁의 승자는 가장 시끄러운 브랜드가 아닐 것입니다. 인공지능 웹에서는 인기보다 이해하기 쉬운 것이 더 강력하다는 사실을 일찍이 깨달았기 때문에 정보가 기계의 머릿속으로 깔끔하게 흘러들어가는 브랜드가 승자가 될 것입니다.