8月13日、寄付者情報データベース「PatronView」を運営するニック・グレイ氏が、自身のウェブサイトに押し寄せるAIクローラーやスクレイパー（ウェブサイトの情報を自動収集するプログラム）との攻防を公開した。約1年間にわたる記録によると、人間が1回ページを読み込む間に、AIによるページ読み込みがおよそ214回発生していたという。
30秒でわかるポイント
- ニック・グレイ氏が運営する「PatronView」で、AIボットのアクセス実態を約1年間記録
- サーバー配信数とアクセス解析の数字を比較した結果、人間1回に対しAIが214回ページを読み込んでいた
- ウェブサイトへのアクセスの99％超がボットによるものだったと報告されている
何が起きていたのか
グレイ氏は、自身が運営するサイトのサーバーログを分析した。
サーバーが実際に配信したページ数と、一般的なアクセス解析ツールが記録した「人間による訪問数」を比較したところ、両者の間に大きな差があることに気づいたという。
この差の正体が、AIクローラーやスクレイパーによる自動アクセスだった。アクセス解析ツールは通常、人間の閲覧を主に検知する仕組みになっているため、AIによる読み込みの多くはカウントされずにいたとみられる。
人間1回につきAIは214回
グレイ氏が公開したデータによれば、人間が1回ページを読み込む間に、AIによる読み込みはおよそ214回発生していた。
これは、サイトへのアクセスの99％超がボットによるものだったことを意味するという。
AIクローラーは、生成AI（文章や画像を自動で作るAI技術）の学習データ収集や、検索・情報収集サービスのために、ウェブサイトの情報を大量に読み取っていく。こうした動きは近年、多くのサイト運営者の間で共通の課題として認識されつつある。
サイト運営者側の対応
グレイ氏は、このようなAIボットの大量アクセスに対して、約1年間にわたって対策を続けてきたと伝えられている。
具体的な対策の詳細については元記事で語られているとみられるが、今回の情報だけでは、どのような技術的手段を用いたかまでは明らかにされていない。
サイト運営者にとって、AIボットからの大量アクセスは以下のような影響を及ぼす可能性がある。
- サーバーの負荷増加によるコスト上昇
- 正確なアクセス解析データの取得が困難になる
- コンテンツが許可なく学習データとして利用される懸念
一方で、AI企業やサービス提供者側からは、情報収集の必要性や技術的な利便性を主張する立場もあり、双方の見解には隔たりがあるとみられる。
まとめ
ニック・グレイ氏が公開したデータは、AIクローラーによるウェブサイトへのアクセスが、私たちの想像以上に大きな割合を占めている実態を示すものだった。人間1回に対しAIが214回という数字は、今後多くのサイト運営者にとって参考になる事例といえる。AIの技術発展とウェブサイト運営者の負担のバランスをどう取るかは、引き続き注目されるテーマとなりそうだ。
出典: Gigazine