ウェブサイトへのアクセスの99％超がボットに、人間1回に対して214回もページを読み込むAIスクレイパーとの攻防

アクセスの大半がボットだった実態

個人プロフィール検索サイト「PatronView」を運営するニック・グレイ氏が、AIクローラーやスクレイパーとの攻防を公開しました。公開情報を基にした同サイトでは、ある1週間にサーバーが配信したフルページが約128万件だった一方、解析ツールに記録されたページビューは5977件でした。単純計算では、人間1回の閲覧に対して約214回のページ読み込みが発生していたことになります。

グレイ氏は、これは「アクセスの99％がボット」という表現よりも、実態に近いと説明しています。特に2026年4月22日には1日で約362万件のリクエストが発生し、アクセス元は約36万1000個のIPアドレスに分散していました。大半が中国からだったため、翌23日に中国からのアクセスを遮断し、その後はリクエスト数が大きく減少したとしています。

AIクローラーと従来の検索ボットの差

AIクローラーではAnthropicの「Claude-SearchBot」が1週間で約42万ページを取得した一方、Claudeがユーザーの依頼でサイトにアクセスする「Claude-User」は12件でした。グレイ氏は、訪問者1人につき約3万5000ページを取得した計算になると述べています。Amazonの「Amzn-SearchBot」も大量にアクセスしていましたが、PatronViewへの訪問者は確認できなかったとのことです。

一方でGooglebotは訪問者1人につき46ページ、Bingbotは406ページでした。グレイ氏は、ページ取得数と利用者由来のアクセス数を比べ、利用者を送り込まないクローラーは遮断する方針を取っています。CloudflareのWeb Application Firewallや「Managed Challenge」、回数制限を使い、不審なアクセスを制御しているそうです。

完全な遮断は難しく、対価の議論も

ただし、遮断は万能ではありません。開発者のKaka Ruto氏は、独自のウェブ取得ツールでは拒否されたものの、AIエージェントがChromeブラウザを操作する「Chrome DevTools MCP」に切り替えると取得できたと報告しています。こうした例からも、クローラー対策の難しさがうかがえます。

グレイ氏は、スクレイピングのコストが下がり続けるなかで、将来的にはクローラーが取得の対価を支払う「Pay Per Crawl」のような仕組みが必要になる可能性があると述べています。それまでは、「訪問者を1人も送ってこないクローラーはブロックする」という運営方針を続ける考えです。