- 웹사이트가 AI 크롤러 접근 여부를 사전에 설정하고, 콘텐츠 사용 권한을 직접 통제할 수 있도록 지원
클라우드플레어(Cloudflare)는 오늘부터 AI 크롤러(crawler)가 웹사이트의 콘텐츠를 무단으로 수집하거나 보상 없이 접근하는 것을 기본 설정으로 차단하는 최초의 인터넷 인프라 기업이 됐다고 발표했다.
이번 조치로 웹사이트 소유자는 AI 크롤러의 접근 여부를 직접 설정하고, 해당 콘텐츠를 AI 기업이 어떤 목적으로 활용할 수 있을지 선택할 수 있게 된다. AI 기업은 자사의 크롤러가 학습, 추론, 검색 중 어떤 용도로 콘텐츠를 수집하는지 명확히 밝혀야 하며, 웹사이트 소유자는 이를 바탕으로 허용 여부를 판단할 수 있다. 클라우드플레어의 새로운 기본 정책은 콘텐츠 창작자와 AI 기업 간의 균형을 회복하고, 건강한 인터넷 생태계 구축을 위한 중요한 첫걸음이다.
수십 년 동안 인터넷은 검색 엔진이 콘텐츠를 색인화하고, 사용자에게 원본 웹사이트를 안내함으로써 웹사이트는 트래픽과 광고 수익을 얻는 상호 보상 구조로 작동해 왔다. 이러한 순환 모델은 양질의 콘텐츠를 제작한 창작자에게 보상과 영향력을 제공하고, 사용자는 새로운 정보와 관점을 발견할 수 있는 기회를 제공해 왔다.
그러나 최근 AI 크롤러는 텍스트, 기사, 이미지 등 다양한 콘텐츠를 수집해 자체적으로 답변을 생성하면서 원 출처로의 방문 없이 정보를 소비하도록 유도하고 있다. 이로 인해 콘텐츠 제작자는 수익뿐 아니라 ‘누군가 콘텐츠를 보고 있다’는 창작의 만족감까지 잃게 되었다. 양질의 콘텐츠에 대한 보상이 사라지면, 결국 창작 의욕도 사라지고 인터넷 생태계 전체가 위협받게 된다. 이러한 문제는 이제 인터넷의 미래를 좌우할 중요한 과제로 떠오르고 있다.
클라우드플레어 매튜 프린스(Matthew Prince) CEO는 “AI시대에 인터넷이 지속 가능하려면, 퍼블리셔에게 정당한 통제권을 주고 창작자, 소비자, 미래의 AI 창업자 및 웹 생태계 전체가 상생할 수 있는 새로운 경제 모델이 필요하다”고 설명하고, “원본 콘텐츠는 인터넷이라는 지난 세기의 위대한 발명을 가능하게 한 핵심 자산이다. AI 크롤러는 사실상 지금까지 무제한으로 콘텐츠를 수집해왔다. 클라우드플레어는 창작자에게 권한을 돌려주는 동시에 AI 혁신은 지속할 수 있도록 균형을 잡고자 한다. 이는 모두를 위한 새로운 모델을 통해 자유롭고 역동적인 인터넷의 미래를 보호하는 일”이라고 밝혔다.
핀터레스트(Pinterest) 빌 레디(Bill Ready) CEO는 “전 세계의 창작자와 퍼블리셔는 핀터레스트를 활용해 비즈니스를 확장하고, 새로운 고객층에 도달하며 성과를 측정하고 있다. AI가 디지털 환경을 재편해 나가는 가운데, 우리는 콘텐츠가 의도된 목적대로 활용되는 건강한 인터넷 생태계 조성을 위해 최선을 다할 것”이라고 강조했다.
레딧(Reddit) 스티브 허프먼(Steve Huffman) CEO는 “AI 기업, 검색 엔진, 연구자 등 웹사이트를 크롤링하는 모든 이는 자신이 누구인지 밝혀야 하며, 웹상의 모든 플랫폼은 누가 왜 자신들의 콘텐츠를 수집하는지에 대해 통제권을 가져야 한다. 크롤링의 투명성과 제어가 높아질수록 생태계 전체가 더 나아지며, 클라우드플레어의 이번 조치는 그 방향으로의 올바른 첫걸음”이라라고 덧붙였다.
클라우드플레어 전 세계 인터넷 트래픽의 20%를 관리하며, 매일 수조 건의 요청을 처리하는 세계 최대 규모의 네트워크 중 하나를 운영하고 있다. 이러한 인프라를 기반으로, 사람과 AI 크롤러를 정확하게 구분할 수 있는 세계 최고 수준의 봇 관리 솔루션을 제공한다. 2024년 9월, 클라우드플레어는 클릭 한 번으로 AI 크롤러를 차단할 수 있는 기능을 도입했다. 그 이후 100만 개 이상의 고객이 이 기능을 사용 중이며, 이는 AI 전략을 수립 중인 기업들에게 손쉬운 스크래핑 방지 솔루션으로 큰 도움이 되고 있다.
이제 클라우드플레어는 AI 크롤러에 대한 허가 기반 모델을 기본값으로 적용하는 다음 단계로 나아가고 있다. AI 기업은 이제 웹사이트에서 콘텐츠를 수집하기 전에 반드시 명시적인 허가를 받아야 한다. 새롭게 클라우드플레어에 가입하는 모든 도메인은 AI 크롤러 허용 여부를 처음부터 선택해야 하며, 기본 설정은 '차단'이다. 이를 통해 웹사이트 소유자가 별도로 설정하지 않아도 자동으로 보호받을 수 있게 되었다. 사용자는 언제든지 설정을 변경해 크롤링을 허용할 수도 있다.
이러한 변화는AP 통신, 버즈피드(BuzzFeed), 콘데 나스트(Condé Nast), 포춘(Fortune), 핀터레스트(Pinterest), 레딧(Reddit), 유니버설 뮤직 그룹(Universal Music Group) 등 세계 주요 콘텐츠, 미디어, 기술 기업들로부터 지지를 얻고 있다.
또한, 클라우드플레어는 AI 기업과 창작자 모두를 위한 콘텐츠 생태계의 투명성 강화에도 적극 나서고 있다. 최근 AI 봇이 스스로를 인증하고, 웹사이트가 이를 식별할 수 있는 새로운 방식도 제안했다. 이를 통해 창작자와 웹사이트 소유자는 허용할 크롤러를 선택할 수 있는 새로운 제어권을 가지게 된다. 클라우드플레어는 AI 봇 소유자 및 개발자들이 공공의 표준 방식으로 자신을 식별할 수 있도록 하는 새로운 프로토콜 개발에도 참여 중이다.
#클라우드플레어#AI#크롤러#
