Cloudflare will now, by default, block AI bots from crawling its clients' websites

クラウドフレアがAIクローラーをデフォルト拒否、課金も

クラウドフレアは、同社がホストするWebサイトへのAIボットのアクセスをデフォルトで拒否すると発表した。AIがWebサイトのデータを収集する際に課金する仕組みも導入し、AI検索による「ゼロクリック」時代に対応する。 by Peter Hall2025.07.03

この記事の3つのポイント

クラウドフレアがAIボットのアクセスをデフォルトでブロックすると発表した
顧客企業がAIボットの許可設定やクロール料金を個別に決められる機能を提供する
AI企業とサイト運営者の持続可能な取引を支援してインターネットの開放性を保護する

summarized by Claude 3

インターネット・インフラ企業のクラウドフレア（Cloudflare）は7月1日、同社がホストするWebサイトへのAIボットのアクセスをデフォルトでブロックすると発表した。また、顧客企業が個別にこれらのAIボットを許可または禁止できる機能を提供し、AIボットがWebサイトのコンテンツを取得するたびに報酬を得られる「ペイ・パー・クロール（pay-per-crawl）」というサービスを導入するという。

問題となっているボットはWebクローラーと呼ばれるもので、インターネット上を巡回して各Webサイトのオンライン情報を収集・分類するアルゴリズムである。従来は検索エンジン用のデータ収集に使われていたが、現在ではAIシステムの構築と運用に必要なデータ収集のために使われている。