AI crawler taxonomy

AI crawler taxonomy는 AI bot을 하나의 덩어리로 보지 않고, 무엇을 하려고 웹을 읽는지에 따라 Search, Agent, Training 같은 목적별 범주로 나누는 관점이다. 이 구분이 중요한 이유는 사이트 운영자가 “발견되기 위해 허용한 접근”과 “모델 학습에 흡수되는 접근”을 다르게 다루고 싶어 하기 때문이다.

한 줄로 말하면

AI crawler taxonomy는 AI가 웹에 접근하는 목적을 검색, 대리 실행, 학습처럼 나눠서 접근권·저장 범위·보상 조건을 다르게 정하려는 분류 체계다.

비유로 이해하기

도서관에 오는 사람을 모두 “방문자”라고만 부르면 관리가 어렵다. 어떤 사람은 책 제목을 색인하려고 오고, 어떤 사람은 의뢰인을 대신해 자료를 복사하려고 오며, 어떤 사람은 책 전체를 가져가 다른 데이터베이스에 넣으려 한다.

도서관 입장에서는 세 방문자가 모두 책장을 본다는 점은 같지만, 허용 조건은 달라질 수밖에 없다. 색인 방문은 도서관을 더 잘 발견하게 만들 수 있고, 대리 복사는 특정 이용자의 요청을 처리하는 행동이며, 전체 복제는 저작권과 보상 문제를 크게 만든다.

AI crawler도 비슷하다. 같은 페이지 요청처럼 보여도 실제 목적이 검색 색인인지, 사용자를 대신한 agent 작업인지, 모델 학습 데이터 수집인지에 따라 사이트가 기대하는 대가와 위험이 다르다.

정확한 정의

AI crawler taxonomy는 AI bot의 웹 접근을 목적과 사용 범위에 따라 나누는 운영·정책 분류다. Cloudflare의 2026년 발표 묶음에서는 특히 다음 세 범주가 강조됐다.

범주	무엇을 하나	사이트 입장에서 중요한 질문
Search	콘텐츠를 수집·색인해 검색 결과나 답변의 발견성을 높인다	원문 방문자나 공정한 보상이 돌아오는가
Agent	사용자를 대신해 실시간으로 웹 앱이나 API를 호출한다	누구를 대신한 요청이며, 권한과 비용은 어떻게 확인하는가
Training	콘텐츠를 모델 학습이나 fine-tuning에 흡수한다	저장·재사용 범위와 보상 조건이 명확한가

이 taxonomy는 자연법칙처럼 고정된 기술 분류라기보다, 웹 운영자가 정책을 세우고 AI 회사가 자신의 bot 행동을 설명하기 위한 사회적·기술적 약속에 가깝다. 실제 bot은 Search와 Training, Agent 행동을 섞을 수 있기 때문에 분류의 신뢰성과 검증 절차가 중요하다.

왜 중요한가

1. “허용”과 “거부”만으로는 부족하다

기존 robots.txt식 사고에서는 crawler를 허용할지 막을지가 중심이었다. 하지만 AI 시대에는 “어떤 목적으로, 얼마나 저장하고, 어떤 결과물에 쓰는가”가 더 중요해진다.

사이트는 검색 발견성을 잃고 싶지 않지만, 콘텐츠가 무상으로 모델 학습에 흡수되는 것은 싫어할 수 있다. AI crawler taxonomy는 이 중간지대를 표현하려는 시도다.

2. Agent traffic은 검색 traffic과 다르다

Search crawler는 원문 사이트로 사용자를 보내주는 역할을 할 수 있다. 반면 agent는 사용자를 대신해 일을 끝내는 쪽에 가깝다. 예약, 조회, 구매, 데이터 수집, 문서 처리 같은 작업이 agent를 통해 이뤄지면 사이트는 사람 방문자를 받지 못하면서도 서버 비용과 업무 처리 부담을 질 수 있다.

이 지점은 managed agents, agent observability, AI 시스템의 감사 가능성과 연결된다. agent traffic을 받아들이려면 누가 요청했는지, 어떤 권한이 있는지, 어떤 기록이 남는지를 함께 봐야 한다.

3. 콘텐츠 보상 시장의 전제가 된다

콘텐츠에 가격을 붙이려면 먼저 무엇이 쓰였는지 알아야 한다. Search 결과에 참고된 것인지, agent가 실제 업무 수행에 사용한 것인지, 모델 학습에 장기 흡수된 것인지가 구분되지 않으면 보상 모델을 만들기 어렵다.

그래서 AI crawler taxonomy는 단순한 bot 관리 기능이 아니라, AI 시대 웹 콘텐츠 시장의 회계 단위가 될 수 있다. 다만 이는 아직 실험 단계이며, 주요 AI crawler 운영자와 출판사, 검색 사업자가 얼마나 받아들이는지 확인해야 한다.

실제 예시

Cloudflare의 Content Independence Day 1년 후 발표에서는 Search, Agent, Training을 나누고, 광고가 표시되는 새 domain에 대해 Training과 Agent를 기본 차단하고 Search는 기본 허용하는 방향의 기본값 변경을 예고했다.

또한 use=immediate, use=reference, use=full 같은 content-use signal을 통해 bot이 콘텐츠를 즉시 답변에만 쓰는지, 참고·인용에 쓰는지, 더 깊게 저장·재사용하는지 표현하려 했다.

이 사례를 읽을 때 중요한 점은 “Cloudflare 정책이 곧 웹 전체 표준”이라는 결론이 아니다. 더 중요한 신호는 웹 인프라 기업이 AI crawler를 단순 traffic이 아니라 목적·권한·보상 조건이 필요한 행위자로 보기 시작했다는 점이다.

헷갈리지 말아야 할 점

• AI crawler taxonomy는 AI crawler를 완전히 막자는 말이 아니다. 목적별 선택권을 더 세밀하게 만들자는 관점이다.
• Search, Agent, Training은 깔끔하게 분리되는 자연 범주가 아니다. 실제 bot 행동은 섞일 수 있고, 검증 가능한 선언과 감사가 필요하다.
• Taxonomy가 있다고 해서 보상이 자동으로 생기지는 않는다. 보상에는 가격 책정, 사용량 측정, 계약, 결제, 분쟁 처리까지 필요하다.
• Cloudflare의 자료는 Cloudflare 네트워크 관측과 전략이 반영된 1차 자료다. 웹 전체의 절대값이나 확정 표준처럼 읽기보다 방향 신호로 읽어야 한다.

관련 문서

• Cloudflare Content Independence Day로 보는 AI crawler 통제와 콘텐츠 시장
• Cloudflare Monetization Gateway로 보는 agent-first 인터넷 과금 실험
• Managed agents
• Agent observability
• AI 시스템의 감사 가능성

출처

• Cloudflare — Content Independence Day, one year on
• Cloudflare — Your site, your rules: new AI traffic options for all customers
• Cloudflare — Making AI search smarter