30년 동안 웹은 단순한 거래로 굴러갔어. 검색엔진이 사이트를 긁어가는 대신, 사람 방문자를 돌려보내 준다. 그 방문이 광고·구독·쇼핑으로 이어지고, 그렇게 콘텐츠 만드는 사람이 먹고살았지.
그 거래가 지금 깨지고 있어. Cloudflare가 7월 1일에 낸 자료에 따르면, 인터넷 트래픽의 절반 이상이 이미 사람이 아니야. 봇이 콘텐츠를 가져가긴 하는데, 사람은 원본 사이트에 오지 않아. AI가 질문에 바로 답을 만들어주니까. 검색 한 시간당 열린 웹에 머무는 시간은 15분으로 쪼그라들었대.
Cloudflare가 던지는 질문은 이거야. 콘텐츠가 소비되는데 아무도 원본에 안 온다면, 만든 사람은 뭘로 먹고사나?
무슨 일이 벌어졌나
Cloudflare는 이 문제에 세 갈래로 손을 댔어. 순서대로 보면 하나의 그림이 돼.
첫째, 크롤러를 용도로 나눴어. 예전엔 “AI 봇이냐 아니냐”로만 갈랐는데, 이제 봇이 네 사이트에서 뭘 하느냐로 물어. 크게 셋이야.
- Search(검색): 나중에 질문에 답하려고 사이트를 색인하는 것. 방문자를 돌려보내 주니 대체로 허용할 만해.
- Agent(에이전트): 지금 당장 누군가의 일을 대신 처리하러 온 것. ChatGPT나 Claude가 브라우저를 몰고 오는 경우.
- Training(훈련): 모델을 학습시키려고 콘텐츠를 통째로 흡수하는 것.
Cloudflare는 9월 15일부터 새 기본값을 걸겠다고 했어. 광고가 붙은 페이지에선 Training과 Agent를 기본 차단하고, Search만 열어두는 식으로. 여기서 특히 겨눈 건 구글이야. 다른 AI 회사들은 검색용 크롤러와 훈련용 크롤러를 나눠 오는데, 구글은 하나로 묶어서 와. 그래서 사이트 주인은 “구글 검색에 노출되려면 구글 AI 학습도 같이 허용”할 수밖에 없어. Cloudflare는 구글이 이 혼합 크롤러 덕에 다른 AI 회사보다 약 2배 많은 정보에 접근한다고 지적했어.
둘째, 신원을 확인하게 만들었어. 봇이 자기가 누구인지 정직하게 밝히고, 그 정직함으로 얻은 접근을 남용하지 않으면 “검증된(Verified)” 딱지를 줘. 남용하면 딱지를 뺏겨. 20%가 넘는 웹이 Cloudflare 뒤에 있으니, 이 딱지를 잃는 건 실제로 아픈 벌이지.
셋째, 요청 하나하나에 돈을 물리는 장치를 열었어. 이게 이번 발표의 핵심이야. “Monetization Gateway”라는 건데, 웹페이지·데이터셋·API·심지어 AI 도구 호출까지 — Cloudflare 뒤에 있는 거라면 뭐든 “이건 유료”라고 규칙을 걸 수 있어. 검색 한 번에 몇 센트, 업로드 1MB에 1센트, 성공한 고객 응대 건당 99센트 같은 식으로.
어떻게 작동하나
셋을 이어 붙이면 크롤러가 문 앞에 왔을 때 벌어지는 일이 하나의 흐름이 돼.
flowchart TD A[크롤러/에이전트가 요청] --> B{용도가 뭐지?<br/>Search·Agent·Training} B --> C{신원이 검증됐나?} C -->|아니오| D[차단] C -->|예| E{이 자원은 유료인가?} E -->|무료| F[콘텐츠 전달] E -->|유료| G[402 Payment Required<br/>가격·결제처 안내] G --> H[에이전트가 결제 첨부해 재요청] H --> I{결제 확인} I -->|실패| D I -->|성공| F
여기서 눈여겨볼 기술이 402라는 응답 코드야. HTTP에는 오래전부터 “402 Payment Required(결제 필요)“라는 자리가 있었는데, 30년 가까이 안 쓰이고 비어 있었어. Cloudflare가 미는 x402라는 개방형 규약이 바로 이 빈자리를 채워. 요청이 오면 서버가 콘텐츠 대신 “402, 가격은 이거, 여기로 내”라고 답하고, 상대가 결제 증거를 붙여 다시 요청하면 그제야 콘텐츠를 준다는 거지.
결제는 스테이블코인(달러에 값이 고정된 디지털 화폐)으로 1초 안에, 아주 작은 금액까지 정산돼. 사람이라면 매번 결제를 승인하기 번거롭지만, 에이전트는 지갑을 들고 수천 번의 소액 결제를 군말 없이 하거든. Cloudflare의 그림은 “에이전트가 인터넷의 주 고객이 되고, 요청 하나가 곧 거래가 된다”는 거야.
확인된 것 vs 회사가 파는 그림
확인되는 것. 세 개의 발표는 실제로 나왔어. 크롤러를 Search·Agent·Training으로 나누는 새 분류와 9월 15일 기본값 변경은 이미 설정에 반영됐고, 신원 검증(Verified) 규칙도 바뀌었어. 다만 요금 부과 장치(Monetization Gateway)는 아직 대기자 명단을 여는 단계야 — “할 수 있게 될 것”이라는 미래형이고, 실제로 돌아가는 제품이 아니야.
회사가 파는 그림. “건강하고 지속가능한 인터넷”, “공정한 가치 교환” 같은 표현엔 Cloudflare의 이해관계가 들어 있어. 웹의 20%가 자기 뒤에 있는 회사가, 그 길목에서 통행료를 걷는 관문을 만들겠다는 거니까. 크리에이터를 위한다는 명분과, Cloudflare가 결제·검증·분류를 한 손에 쥔다는 사업 기회는 같은 동전의 양면이야. 나쁘다는 게 아니라, 파는 사람의 언어라는 걸 갈라 읽자는 얘기지.
아직 모르는 것
가장 큰 물음표는 가격이야. Cloudflare 자신도 “콘텐츠의 가치를 어떻게 매길지는 아직 안 풀렸다”고 인정했어. 검색 한 번이 몇 센트인지, 좋은 콘텐츠와 그저 그런 콘텐츠를 시장이 어떻게 구분할지 — 여기에 답이 없으면 관문만 있고 시장은 안 열려.
그리고 이게 소수 대형 퍼블리셔만의 게임이 될지, 작은 사이트도 낄 수 있을지도 아직 몰라. Cloudflare는 “가장 작은 API도 가장 큰 회사와 같은 조건으로 같은 구매자에게 닿는다”고 했지만, 신원을 밝히고 검증받을 여력이 없는 작은 트래픽은 이 체계 밖으로 밀려날 수 있다고 스스로도 우려를 남겼어.
다음에 볼 것
- 9월 15일 이후. 새 기본값이 실제로 걸리면, 광고 페이지에서 Training·Agent 봇이 정말 막히는지. 특히 구글의 혼합 크롤러가 어떻게 분류·처리되는지가 이 판의 무게중심이야.
- Monetization Gateway가 대기자 명단에서 제품으로. 요청당 과금이 실제로 정산되기 시작하면, “요청 하나가 거래”라는 그림이 서사인지 현실인지 판가름 나.
- 다른 CDN·플랫폼의 반응. 웹의 20%를 쥔 Cloudflare가 방향을 틀었으니, 나머지 길목을 쥔 곳들이 따라오는지 버티는지.