7月3日、CDN大手のCloudflare（クラウドフレア）が、Webサイト運営者がAI関連の自動収集プログラム（クローラー）を用途別に管理できる新機能を発表した。生成AIの普及でネット上のコンテンツが無断で学習に使われる懸念が広がるなか、サイト側が「どんな目的なら許可するか」を細かく選べる仕組みとして注目される。
そもそもAIクローラーとは何か
クローラーとは、Web上のページを自動で巡回して情報を集めるプログラムを指す。従来は主に検索エンジンがサイトを見つけるために使ってきたが、近年は生成AIが回答を作るためにコンテンツを収集するケースが急増している。
サイト運営者にとっては、自分が作った記事や画像が知らないうちにAIの学習データに使われる可能性があり、「アクセスにつながらないのに情報だけ吸い上げられる」という不満の声も出ていた。今回の機能は、こうした課題への対応策の一つと位置づけられる。
「検索・エージェント・学習」3つの分類とは
今回発表された機能の中心は、AIクローラーを挙動ベースで3つの用途に分類し、それぞれ個別に許可・拒否を設定できる点にある。
- 検索：AIが情報源としてページを見つけ、リンクや引用として提示する用途
- エージェント：AIが利用者の代わりに操作や情報取得を行う用途
- 学習：AIモデルの訓練データとして収集する用途
従来は「すべて許可」か「すべてブロック」といった単純な一括制御が中心だった。今回は用途ごとに細かく分けられるため、たとえば「検索経由でサイトに人を呼び込むのは歓迎するが、学習目的の収集は断る」といった柔軟な運用が可能になるとされる。
コンテンツ利用に応じた課金「Pay Per Use」も実証実験
Cloudflareはあわせて、AIの回答にコンテンツが使われた回数に応じて料金を受け取る仕組み「Pay Per Use」の実証実験も発表した。これは、コンテンツを提供する側が対価を得られる新たな収益モデルを模索する試みとみられる。
AIによるコンテンツ利用をめぐっては、「クリエイターへの還元が必要だ」という立場と、「情報の自由な流通を妨げるべきでない」という立場の双方があり、社会的な議論が続いている。今回の仕組みが実際にどこまで普及するかは、今後の実験結果や利用者側の反応次第とみられる。
まとめ
- 7月3日、CloudflareがAIクローラーを用途別に管理できる新機能を全顧客に開放すると発表した
- クローラーを「検索」「エージェント」「学習」の3つに分類し、個別に制御できるのが特徴
- コンテンツ利用回数に応じて課金する「Pay Per Use」の実証実験も発表された
生成AIとコンテンツ提供者の関係をどう整理するかは、テクノロジー業界の大きなテーマになりつつある。今回の動きは、その一つの具体的なアプローチとして押さえておきたいニュースだ。