インターネット・インフラ企業のクラウドフレア（Cloudflare）は7月1日、同社がホストするWebサイトへのAIボットのアクセスをデフォルトでブロックすると発表した。また、顧客企業が個別にこれらのAIボットを許可または禁止できる機能を提供し、AIボットがWebサイトのコンテンツを取得するたびに報酬を得られる「ペイ・パー・クロール（pay-per-crawl）」というサービスを導入するという。

問題となっているボットはWebクローラーと呼ばれるもので、インターネット上を巡回して各Webサイトのオンライン情報を収集・分類するアルゴリズムである。従来は検索エンジン用のデータ収集に使われていたが、現在ではAIシステムの構築と運用に必要なデータ収集のために使われている。

AI向けのクローラーは、検索エンジンがこれまで提供してきたような収益化や認知の機会をもたらさない。AIモデルはWeb上の膨大なデータを利用して出力を生成するが、これらの情報源はしばしばクレジットされず、制作者が自身の作品から収益を得る機会が制限されている。AI生成回答を特徴とする検索エンジンは元の情報源へのリンクを含む場合もあるが、他サイトへの訪問意欲を低下させる恐れがあり、いわゆる「ゼロクリック」時代を招く可能性もある。

「従来は、検索エンジンがあなたのコンテンツをインデックス化し、特定のクエリに関連するリンクを表示して、あなたのサイトにトラフィックを返すという暗黙の合意がありました」。クラウドフレアでAIプライバシー／制御／メディア製品を統括するウィル・アレンはMITテクノロジーレビューへのメールでこうコメントした。「それが根本的に変わりつつあります」。

クリエイターやパブリッシャーは一般に、自分たちのコンテンツがどのように使用され、どのように自分たちと紐づけられ、どのように対価を得るかを決定したいと考えている。クラウドフレアは、顧客がAIライフサイクルの各段階（訓練、ファインチューニング、推論）ごとにクローリングの可否を設定でき、特定の認証済みクローラーをホワイトリストに登録できるようにした。さらに、AIボットが自社サイトをクローリングする際の料金も設定できるという。

クラウドフレアのプレスリリースでは、AP通信やタイム（Time）などのメディア企業、クオーラ（Quora）やスタック・オーバーフロー（Stack Overflow）などのコミュニティサイト運営企業が取り組みへの賛同を表明している。「LLMを支えるコミュニティ・プラットフォームは、その貢献に対して報酬を受け取り、再びコミュニティに投資できるようにすべきです」。スタック・オーバーフローのプラシャント・チャンドラセカールCEOはリリースの中でこう述べている。

クローラーは本来、「robots.txt」ファイルを通じて示された個別のWebサイトの指示に従い、クロールが許可されているかどうかを判断することになっているが、一部のAI企業はこれらの指示を無視しているとの批判がある。

クラウドフレアにはすでに、クローラーが自らの所属と目的をWebサイトに伝えるためのボット認証システムが存在する。同社はこの仕組みによってAI企業とサイト運営者との誠実な交渉が促進されることを期待している。不誠実なクローラーに対しては、ボットによる協調型DoS（サービス拒否）攻撃への対応経験を活かして阻止する計画だ。

「最新コンテンツを求めてインターネット上を巡回するWebクローラーは、別の種類のボットにすぎません。したがって、悪意のあるボットのトラフィックやネットワークパターンを理解するために実行してきたすべての取り組みが、クローラーの行動を把握する助けとなります」。クラウドフレアのアレンはこう述べている。

同社はまた、AIによって生成された偽のWebページに不要なクローラーを誘導して労力を無駄にさせるといった手法など、不要なクローラーを阻止する他の方法もすでに開発している。こうした手法は依然として悪質な行為者に対して適用されるものだが、新しいサービスがAI企業とコンテンツ制作者とのより良好な関係の構築に寄与することを同社は期待している。

一方、一部の専門家は、AIクローラーのデフォルトでのブロックが、研究などの非商用利用を妨げる可能性があると警告する。AIシステムや検索エンジン向けのデータ収集だけでなく、クローラーはWebアーカイブ・サービスなどにも使用されているからだ。

「すべてのAIシステムがすべてのWebパブリッシャーと競合するわけではないし、すべてが商用というわけでもありません」。データの来歴について研究するMITメディアラボの博士課程生であるシェイン・ロングプレは言う。「個人的利用やオープンな研究まで犠牲にすべきではありません」。

クラウドフレアは、AI企業とWebパブリッシャーがより持続可能な取引ができるよう支援することで、インターネットの開放性を保護することを目指している。「クローラーとその意図を検証することで、サイト運営者はより細かな制御が可能となり、その結果、実際の人間に対してはよりオープンな対応が可能になります」とアレンは述べている。

• 2

人気の記事ランキング

1. It’s pretty easy to get DeepSeek to talk dirty 「お堅い」Claude、性的会話に応じやすいAIモデルは？
2. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
3. Google’s new AI will help researchers understand how our genes work グーグルが「アルファゲノム」、遺伝子変異の影響を包括的に予測
4. Tech billionaires are making a risky bet with humanity’s future マスク、アルトマン、ベゾス ——テックセレブたちが描く 未来への「危険な賭け」
5. Why AI hardware needs to be open オープンAIが目指す「iPhoneの次」に期待すべきではない理由