🥚

Recent Notes

See 76 more →

Cloudflare Content Independence Day로 보는 AI crawler 통제와 콘텐츠 시장

11 min read

이 문서는 확정 분석이 아니라 source watch다. Cloudflare의 2026년 Content Independence Day 묶음 발표는 AI 시대의 웹이 단순히 “crawler를 막을 것인가”가 아니라, 검색·agent·학습을 구분하고 콘텐츠 사용에 가격을 붙이는 시장으로 이동하고 있음을 보여준다.

한 줄로 말하면, Cloudflare는 AI crawler taxonomy처럼 AI crawler를 Search, Agent, Training 같은 행동으로 나누고, 사이트 소유자가 접근·사용·보상 조건을 더 세밀하게 정할 수 있는 방향을 제시했다.

왜 지금 읽을 만한가

생성형 AI가 보급되면서 웹의 오래된 거래가 흔들리고 있다. 예전에는 검색엔진이 페이지를 가져가도, 그 대가로 방문자를 보내준다는 기대가 있었다. 하지만 AI answer engine은 페이지 내용을 요약해 사용자가 원문 사이트에 가지 않아도 되는 경험을 만든다.

Cloudflare는 이 변화를 매우 강한 숫자로 설명한다. 발표에 따르면 생성형 AI는 3.5년 만에 25억 명 이상의 정기 사용자를 확보했고, 인터넷 트래픽의 절반 이상이 비인간 traffic이 되었으며, 2026년 6월 기준 crawler request의 52%가 AI training 목적이라고 집계했다. 이 숫자는 Cloudflare 관측망 기준이라는 한계가 있지만, 웹 사업자가 왜 crawler 목적과 보상 모델을 따지기 시작했는지 보여준다.

추가로 Cloudflare는 Attribution Business Insights라는 dashboard를 발표했다. 이 도구는 bot traffic과 human traffic, bot operator별 crawl-to-referral ratio, AI bot의 목적 분류를 보여줘 사이트 소유자가 “어떤 crawler가 비용만 만들고, 어떤 crawler가 실제 방문자나 협상 가치를 가져오는가”를 판단하게 하려는 제품이다.

Wansook.World 관점에서는 이것이 AI infra나 모델 성능만의 문제가 아니라 웹의 정보 공급망과 비즈니스 모델 문제라는 점이 중요하다. 좋은 답변을 만드는 AI가 많아질수록, 좋은 원문을 계속 생산하게 만드는 경제 구조도 필요해진다.

확인된 것

Cloudflare는 AI traffic 관리의 핵심 use case를 크게 세 가지로 제시했다.

  1. Search: 콘텐츠를 수집·색인해 나중에 검색 결과와 답변에 쓰는 행동이다. 사이트 입장에서는 referral traffic이나 공정한 보상을 기대할 수 있어야 한다.
  2. Agent: 사람을 대신해 실시간으로 웹 애플리케이션을 방문하고 작업을 수행하는 행동이다. 예를 들어 사용자의 요청을 받아 페이지를 열고 예약, 조회, 업무 처리를 하는 경우다.
  3. Training: 콘텐츠를 가져가 모델 학습이나 fine-tuning에 영구적으로 흡수하는 행동이다.

Cloudflare는 2026년 9월 15일부터 새로 Cloudflare에 온보딩되는 domain에 대해, 광고가 표시되는 페이지에서는 Training과 Agent를 기본 차단하고 Search는 기본 허용하는 방향의 기본값 변경을 예고했다. 또한 Search와 Training이 섞인 multi-purpose crawler는 가장 제한적인 규칙을 적용하겠다고 설명했다.

또 다른 축은 content use signal이다. Cloudflare는 use=immediate, use=reference, use=full처럼 bot이 콘텐츠를 어떻게 저장하고 재사용하는지에 대한 선호를 표현하는 신호를 robots.txt의 Content Signals에 확장하려 한다. 즉 “접근해도 되는가”뿐 아니라 “얼마나 저장하고 재현해도 되는가”를 표현하려는 시도다.

AI search 쪽에서는 “Pay Per Crawl”을 “Pay Per Use”로 발전시키려는 실험도 발표했다. Cloudflare는 Ceramic.ai, You.com 같은 파트너와 함께 콘텐츠가 AI search 결과에 쓰일 때 보상이 따라가는 모델을 실험한다고 설명했다. 단순 crawl 횟수가 아니라, 실제 답변과 결과에 쓰인 가치에 맞춰 보상하겠다는 방향이다.

Wansook.World에서 볼 포인트

첫 번째 포인트는 crawler의 목적 분리가 AI 생태계의 신뢰 인프라가 된다는 점이다. 같은 bot이 Search, Agent, Training을 섞어 수행하면 사이트 소유자는 “발견 가능성을 유지하려고 허용했는데, 학습 데이터로도 쓰이는” 문제를 겪는다. Cloudflare는 이 혼합을 줄이고 목적을 더 투명하게 만들겠다고 주장한다.

두 번째 포인트는 agent traffic이 검색 traffic과 다르다는 점이다. Search crawler는 원래 사용자를 원문으로 보내는 역할이 있었다. Agent는 사용자를 대신해 일을 끝내는 쪽에 가깝다. 이 경우 사이트는 방문자를 받지 못하면서도 서버 비용, 데이터 사용, 업무 처리 부담을 질 수 있다.

세 번째 포인트는 콘텐츠 시장이 “라이선스 계약”에서 “프로그래밍 가능한 시장”으로 내려올 수 있다는 점이다. 대형 출판사와 AI 회사의 bespoke 계약만으로는 작은 사이트나 전문 콘텐츠 생산자를 포괄하기 어렵다. Pay Per Use나 content-use signal은 아직 실험 단계지만, 적어도 더 작은 단위의 콘텐츠 가치 측정과 보상으로 가려는 방향을 보여준다.

네 번째 포인트는 negotiation data다. Attribution Business Insights가 제시하는 crawl-to-referral ratio는 “우리 콘텐츠를 얼마나 가져갔는가”와 “그 결과 방문자나 수익이 얼마나 돌아왔는가”를 같은 테이블에서 비교하게 만든다. 이 지표가 널리 쓰이면, 콘텐츠 협상은 감정적 논쟁보다 bot operator별 사용량, 대역폭, referral, 차단 여부를 놓고 진행될 가능성이 커진다.

아직 모르는 것

이 묶음 발표는 Cloudflare의 관측과 전략이 강하게 반영되어 있다. 따라서 곧바로 “웹의 표준이 이렇게 바뀐다”고 단정하기는 어렵다.

확인이 필요한 질문은 다음이다.

  • Google, Apple, Microsoft, OpenAI, Anthropic 같은 주요 crawler 운영자가 Search·Agent·Training 분리를 얼마나 받아들이는가.
  • Content Signals의 use 값이 법적·기술적으로 얼마나 강제력을 갖는가.
  • Pay Per Use가 실제로 광고·구독·affiliate revenue 감소를 보전할 만큼 커질 수 있는가.
  • 작은 사이트와 개인 창작자가 이런 정책을 이해하고 관리할 수 있을 만큼 UX가 단순한가.
  • “AI search 품질 개선”을 위한 freshness signal 공유가 콘텐츠 공유나 학습 데이터 제공과 명확히 분리되는가.

헷갈리지 말아야 할 점

  • Crawler를 통제한다는 말은 웹을 닫자는 말과 같지 않다. 핵심은 목적, 사용 범위, 보상 조건을 분리해 선택권을 주는 것이다.
  • Search, Agent, Training은 기술적으로 완전히 분리된 자연 범주라기보다 정책과 운영을 위해 만든 taxonomy다. 실제 bot 행동은 섞일 수 있다.
  • Pay Per Use는 아직 실험이다. 콘텐츠 보상 시장이 실제 수익으로 자리 잡을지는 별도 검증이 필요하다.
  • Cloudflare의 숫자는 Cloudflare 네트워크 관측에 기반한다. 웹 전체의 절대값처럼 읽기보다 방향성과 문제 제기로 읽는 편이 안전하다.

다음에 확인할 것

  • 2026년 9월 기본값 변경 이후 사이트 소유자와 crawler 운영자의 실제 반응.
  • BotBase와 verified bot classification이 어떤 데이터와 검증 절차를 제공하는지.
  • Content Signals의 use=reference 같은 신호를 주요 AI crawler가 준수하는지.
  • Pay Per Use 실험에서 publisher에게 돌아가는 실제 보상 규모.
  • AI search 최적화가 SEO처럼 독립된 산업으로 커지는지.
  • Attribution Business Insights 같은 dashboard가 실제 publisher 협상과 라이선스 가격에 쓰이는지.

관련 문서

출처

Graph View

Backlinks