Cloudflare 公式ブログ記事 「Introducing pay per crawl: enabling content owners to charge AI crawlers for access(Pay per
crawl:AIクローラーへのアクセスに課金できる新しい仕組みの紹介)」は実に興味深いですね。
このWebページでは、このブログ記事を元に、AIに課金させる仕組みについて考えていきます。
AIがネット上の情報を読み取り・収集(クロール)する際、その情報を提供している人たちが無料ではなく、対価を得られるようにする取り組みです。
著作権や情報の価値についての新しい考え方が反映された動きとも言えそうです。
今のウェブでは、AIが勝手に情報を集めていくか、完全に拒否するかの両極端な選択になっているように思えます。
でも、Cloudflareは制作者自身が自由にアクセスのルールを決めて報酬も得られる仕組みをつくろうとしている。
AIに使わせる代わりに、収益が得られる道を模索しているというわけです。
イラストに限らず、AIからコンテンツを守りたいとお考えの方は、このページと併せてX(旧:Twitter)のAIからイラストなどを守る試みをご覧いただけると良いでしょう。
関連記事👉
SNSで繰り広げられている論戦ですね。
このページで紹介するのは、AIクローラーへのアクセスに課金できる新しい仕組み、特に技術的な説明です。
私自身は現在のAI学習問題に対して、個人サイトのリンク掲載をご希望の方へ にあるような考え方を持っています。
ご興味があればご覧ください。
また、今はCloudflare公式ブログ記事の技術説明に留めますが、今後もこのページに続々と情報を追加していく予定です。
これまではAIが情報を集めにくるとき、拒否するかタダで渡すしか選べませんでしたね。
しかしCloudflareはアクセスにお金を請求するという新たな方法を提案しています。
そのために、昔あったけど使われなくなっていたHTTPステータスコード402という仕組みを使おうとしているのです。
「Pay per
crawl(クローラーごとの課金)」は、AIがウェブの情報にアクセスするとき、そのたびに支払いを求める仕組みです。
Cloudflareはこの新しい仕組みを構築中で、昔からあるHTTPステータスコード(特に未使用だった402支払い要求)と、認証の仕組みを組み合わせて、アクセスごとの課金を実現しています。
AIクローラーが情報を取りに来るとき、ちゃんと支払いの情報を送れば「OK(HTTP 200)」になるし、送らなければ「支払いが必要」という通知(HTTP 402)を受け取ることになります。
Cloudflareはこの取引の管理役も担っており、裏側の仕組みも提供しています。
ここで、新しい用語の説明をしておきます。
「パブリッシャー」とはなんでしょうか?
このWebページにおけるパブリッシャー(publisher)とは、
Web上で情報やコンテンツを公開し、それに価値をつけて提供している個人または団体のことを指します。
AIクローラーやエージェントがアクセスする対象のWebページやリソースの所有者・管理者にあたります。
パブリッシャーの主な役割は、次のようなものがあるでしょう。
もうちょっと分かりやすく具体例を挙げてみますね。
これらすべてが、情報価値に応じて収益を得る「パブリッシャー」に該当します。
パブリッシャーは単なる情報提供者ではなく、デジタル経済の主体としてコンテンツに価格をつけ、アクセスに対して取引を行う立場になります。
「Pay per
crawl(クローラー単位の課金)」は、ドメイン所有者にコンテンツ収益化戦略の完全なコントロールを提供します。
サイト全体に対して一律のリクエスト単価を設定することができる。
パブリッシャーは、クローラーに対して以下の3つの選択肢を持ちます。
Cloudflareでは、AIクローラーに対して「アクセスを許可する」「課金する」「拒否する」といった動作を設定できます。
ただし、こうした動作を決める前に、まずは各サイトがすでに導入しているセキュリティ対策が適用されます。
その代表的な仕組みがWAFポリシー(Web Application Firewallポリシー)です。
WAFポリシーとは、Webサイトを守るための「防御ルールのセット」です。
たとえば、次のようなものがあるでしょう。
Cloudflareでは、こうしたWAFポリシーを使って、まず「安全なアクセスかどうか」をチェックします。
その後に課金ルールが適用されるということになる。
WAFポリシーで問題がないと判断されたアクセスだけが、次に「Pay per crawl」のルールエンジンに渡されるってことですね。
そこで初めて、「このアクセスは無料で許可するか?課金するか?拒否するか?」という判断が行われます。
つまり、Cloudflareは 既存のセキュリティ設定を尊重したうえで、課金ルールを追加する という設計になっているのです。
処理フローにすると、次の通りです。
サイト運営者は「AIクローラーへの対応」を細かく設定できるようになります。
無料で見せるか、アクセスごとに料金を請求するか、それとも完全に拒否するかを選べる。
さらに、まだCloudflareと契約していないクローラーに対しても「課金する」選択が可能で、その場合は、コンテンツは返さずに「将来的に契約すれば見せる可能性がある」というサインを送れる。
既存のセキュリティ設定にも配慮した仕組みで、柔軟な運用ができる設計になっているのです。
HTTP 402 は、Web上のコンテンツに価格をつけて流通させる「情報経済」の基盤として再注目されていますね。
特に AI やエージェントが自律的に情報を取得・支払う未来において、プログラム的な課金交渉のトリガーとして活用される可能性です。
基本的な部分に絞って概要を書いてみましょう。
HTTP 402 Payment Requiredは、1997年に RFC 2068 にてマイクロペイメント向けとして登場しました。
その後、Cloudflare などが AI クローラー向け課金応答に活用するなど、実用例が広がりつつあります。
Cloudflareの「Pay per crawl」とは、AIクローラーが有料コンテンツにアクセスした際、HTTP 402と価格ヘッダーを返す仕組みです。
また、決済APIでの通知にも使えますね。
残高不足や支払い失敗時に HTTP 402 を返すことでエラー原因を明示するという。
しかし、現在は標準化されていないため明確な仕様がなく、サービスごとに挙動や意味が異なる可能性があります。
多くのブラウザが 402 を明示的に扱わず、通常のエラーとして処理するかもしれません。
加えてエンドユーザーには意味が伝わりにくく、UI設計上の工夫が必要です。
現状、出来合いのWebサービスに乗っかる形のコンテンツでは、利用できないと見て良いでしょう。
将来的な可能性として、情報経済のトリガーになるよね。
Web上の情報に価格をつけ、収益化する新しい基盤として期待できる。
知的なAIエージェントが自律的に情報を収集・支払う未来において、中核となる仕組みとして活用される可能性があります。
ここいらへんで、そろそろコードについても触れていきたいです。 crawler-price ヘッダーとcrawler-charged ヘッダーに分けて書いていきましょう。
このWebページにおける以下のコードは、Cloudflare 公式ブログ記事 「Introducing pay per crawl: enabling content owners to charge AI crawlers for access(Pay per crawl:AIクローラーへのアクセスに課金できる新しい仕組みの紹介)」 から引用ないし参照しています。
HTTP 402 Payment Required
crawler-price: USD 0.05
HTTP 200 OK
crawler-charged: USD 0.05
こんなところでしょうかね。
まだ当Webサイトには導入していませんが、技術的な仕様面で調整が付いたら、アナザーエデン関連コンテンツ以外の部分には、積極的に導入していきます。
ここでの「エージェント」とは、Webサイトを単にクロールするだけでなく、情報取得・判断・支払い・応答までを自律的にこなす高度なAIを指します。
AIクローラーとの違いを述べるなら、次のようになるでしょう。
続けて、AIクローラーとAIエージェントを比較してみます。
項目 | クローラー | エージェント |
---|---|---|
目的 | インデックス作成やデータ収集 | 問題解決や知的支援 |
支払い能力 | 基本なし(課金応答に実験的対応) | 課金判断・予算管理を持つ |
処理能力 | 情報の収集のみ | 取得・要約・判断・交渉・応答まで |
利用者との関係 | ユーザー介在なし | ユーザー代理として目的達成を支援 |
クローラーは「足を使って情報を拾う存在」、エージェントは「頭と財布を持って情報を交渉し取得する存在」と考えるとわかりやすいでしょう。
Cloudflare の Pay per crawl
は、どちらかというとエージェントの方向を見据えた技術と言えます。
Cloudflare が提案する 「Pay per crawl(アクセスごとの課金)」 が業界標準として広がった場合、Google や Microsoft、OpenAI といった企業が運用する AI クローラーは、Web サイトから情報を取得するたびに制作者に「料金を支払う」仕組みが定着する可能性があります。
一方で、サイト制作者やクリエイターは、自らのコンテンツが価値ある情報源として認識されることで「収益を得られる」チャンスが生まれます。
ここで、課金の成立に必要な条件を見ていきます。
自分の脳と指でコンテンツを制作できる側の人々からすれば、収益拡大の可能性を模索することができますよね。
企業がどれだけのページにクロールするか、
ページがどれだけ価値あると判断されるか、
サイト側が課金設定を的確に行っているか──
この3つの掛け算によって支払い額は決まります。
例えば Google が Gemini を使って、1日あたり数十億ページにアクセスすると仮定すると、
そのうち 1億ページが課金対象で、1ページあたり 0.01ドルだった場合、
100万ドル以上/日という莫大な課金が発生する理論も成り立つということですよ。
Webサイト制作者にとっては、「勝手に使われる」時代から、「認められて報酬が得られる」時代への転換点です。
この価値経済の仕組みをさらに掘り下げると、価格の付け方、企業の対応、Web3との接点など、今以上に掘り下げた形での情報設計を考える必要があります。
AIクローラーに課金するには、「そのクローラーが本物である」ことを技術的に保証する必要があります。
公式ブログを読むと、Cloudflareはその解決策として『Web Bot
Auth』という新しい認証技術を導入しました。
クローラーは自分の公開鍵をネット上に置いて、それを使ってアクセス時に「署名付き」のリクエストを送る。
これによって「誰なのか」が明確になり、安全に課金ができる仕組みが整う仕組みです。
ここで、公式ブログにあるコードを見てみましょう。
GET /example.html
Signature-Agent: "https://signature-agent.example.com"
Signature-Input: sig2=("@authority" "signature-agent")
;created=1735689600
;keyid="poqkLGiymh_W0uP6PZFw-dvez3QJT5SolqXBCW38r0U"
;alg="ed25519"
;expires=1735693200
;nonce="e8N7S2MFd/qrd6T2R3tdfAuuANngKI7LFtKYI/vowzk4lAZYadIX6wW25MwG7DCT9RUKAJ0qVkU0mEeLElW1qg=="
;tag="web-bot-auth"
Signature: sig2=:jdq0SqOwHdyHr9+r5jw3iYZH6aNGKijYp/EstF4RQTQdi5N5YYKrD+mCT1HA1nZDsi6nJKuHxUi/5Syp3rLWBA==:
これは AI クローラーが Web Bot Auth を使って自身の正当性を証明し、Cloudflare の「Pay per crawl」モデル下で安全にコンテンツへアクセスするための署名付きリクエスト例かと思われます。
署名情報は鍵ペアを基にして生成されており、スプーフィング(なりすまし)を防ぐ仕組みになっていますね。
各構成要素を、私なりに説明してみましょう。
誤りがある可能性も十分にあるため、御自身でも入念に調べてください。
このような署名付きアクセスリクエストは、クローラーが正規の存在であることをサーバーに証明し、コンテンツの安全な提供と課金処理の信頼性を確保するために不可欠かと思われます。
とくに Pay per crawl においては、支払いの識別と保証の根幹となる仕組みであり、Web3的なアイデンティティと自己証明の技術とも通じるものです。
これについても書いておいたほうがいいよね…
可能な限り簡単な説明を試みます。
Web3とは、これまでの中央集権的なインターネットの仕組みから脱却し、個人が自らの情報やアイデンティティを自由に管理できるようにするという思想です。
GoogleやFacebookといった巨大プラットフォームがユーザーのデータを管理する従来のWeb2と異なり、Web3では「自分の情報は自分が持つ」という分散型の価値観が中心に据えられています。
その根本には「個体識別」と「自己証明」という2つの概念があります。
まず、個体識別(Decentralized Identifier,
DID)は、ユーザー自身が自ら発行できるIDの仕組みです。
DIDは、特定の企業や組織に依存せず、ブロックチェーンなどの分散型ネットワーク上で自律的に識別を可能にします。
たとえば「did:example:123456789abcdefghi」のような形で、自分だけのユニークな識別子が生成されるのです。
一方で、自己証明(Self-Sovereign Identity, SSI)は、誰かに頼ることなく自分の身元や属性を証明できる仕組みです。
必要な情報だけを選び、その内容が信頼できるものであると証明可能な形式(Verifiable
Credential)で提示することができます。
年齢確認の場面で「私は18歳以上です」とだけ証明したり、医療や金融の場面では必要最低限のデータだけを提示できる ── そんな柔軟性とプライバシー保護が、自己証明の最大のメリットです。
この仕組みがあることで、個人情報は企業の手に委ねるのではなく、自分の手元で選択的に開示・共有できるようになります。
SNSのログイン一つとっても、パスワードではなく「この人は本人です」とだけ証明すれば済む未来が、すでに現実になりつつあります。
例えば、まだあまり一般的とは言えないまでも thirdweb Connect などが挙げられるでしょう。
このサービスでは、GoogleやAppleなどのアカウントでログインするだけで、Web3ウォレットが自動生成され、ユーザーは「本人性の証明」を済ませた状態でNFTの取得やブロックチェーンサービスの利用が可能になります。
パスワードや秘密鍵の管理は不要で、ログイン体験は従来のSNSと変わらないほどシンプルです。
Web3的思想は、「情報の所有者は常に個人であるべき」という哲学に基づいています。
コンテンツ、ID、資格情報 ── あらゆるものを自己主権的に扱える時代に向かう中で、「自分のWeb資産を守りたい」「価値ある情報を自分で制御したい」と考える人にとって、この考え方は極めて重要です。
情報の価値設計やデジタルの持続性に関心がある方こそ、この動きの中心になれるかもしれませんね。
ウェブクローラー(検索エンジンやアグリゲーター)が有料のコンテンツにアクセスする際、Cloudflareでは以下の2つの方法で課金が行われます。
まずクローラーが普通にコンテンツへアクセスしようとします。
もしそのURLが課金対象の場合、Cloudflareから次のようなレスポンスが返ってきます。
HTTP 402 Payment Required
crawler-price: USD 5.00
HTTP 402は「支払いが必要です」という意味のステータスコード。
crawler-priceは「このページを見るにはいくらかかります」という通知。
次に、クローラーはその料金を了承する形でリトライ(再リクエスト)します。
その際に、以下のようにcrawler-exact-priceというヘッダーを追加します。
GET /example.html
crawler-exact-price: USD 5.00
crawler-exact-priceは「この金額なら払います!」と宣言するもの。
Cloudflareはそのリクエストが有効なら、ページを返して課金イベントをログに記録します。
この方法では、最初のリクエストに「この金額までなら払ってもいい」と伝えます。
GET /example.html
crawler-max-price: USD 4.00
ここで、Cloudflare側が設定しているページの価格が $4.00 以下なら、次のような成功レスポンスが返ります。
HTTP 200 OK
crawler-charged: USD 3.50
server: cloudflare
crawler-chargedは実際に課金された金額を表します。
クローラーが提示した上限より安ければ、安い方が適用されます。
ただし、もしページの価格が $6.00 のように提示上限より高かった場合は、再び以下のようなレスポンスが返ります。
HTTP 402 Payment Required
crawler-price: USD 6.00
ここで、これらのヘッダーについてどのように使い分けるのか、表にしてみます。
ヘッダー名 | 目的 | 動作 |
---|---|---|
crawler-price | ページの価格をクローラーへ通知 | 最初のアクセス時(リアクティブ方式)/td> |
crawler-exact-price | 指定された価格で支払う意思 | 再リクエスト時 |
crawler-max-price | 最大限支払える価格を提示 | 最初から支払い意思あり(プロアクティブ方式) |
crawler-charged | 実際に課金された金額 | 成功時のレスポンス |
こうした仕組みは、クローラーが価格を確認しながら柔軟に課金付きコンテンツへアクセスできるようにするためのもので、Web3的な考えに近い「マイクロペイメント」にも通じていますね。
原文が英語だからちょっとしんどい…
まずは実際の流れを順に追ってみましょう。
有料コンテンツへのアクセスを制御するために、Cloudflareでは「クローラーによるアクセスに対する課金」機能が提供されています。
この仕組みでは、コンテンツ所有者(Webサイト管理者)とクローラー運営者の双方が、Cloudflareのアカウント内で事前に課金設定を行っておく必要があります。
ここがちょっと気になりますね。
クローラー運営者も設定が必要になってくるから、何かで強制的に支払いが発生するか、支払いに了承しなければ弾けるようにしておくのが良いでしょう。
支払いを行ったAIクローラーだけ通すようにしておくのです。
たとえば、GoogleのようにWeb上の情報を収集するクローラーや、データ収集を行う企業は、「このページにアクセスするためならいくらまで払える」という上限を設定できます。
一方で、有料ページの配信元となるWebサイトの運営者は「このページの閲覧には◯ドル必要」と価格を定めておきます。
こうした設定が終わると、実際のアクセス時にクローラーは支払い意思を示したうえで、認証付きリクエストを送信します。
そして、Cloudflareがそのリクエストを受け取り、成功(HTTPステータス200番台)として処理された場合、レスポンスには
crawler-chargedというヘッダーが付けられ、実際に課金された金額が記録されるのです。
この一連のやり取りは「課金イベント」としてCloudflareが管理し、すべてのアクセスをログに残して集計します。
月末などのタイミングでまとめて精算が行われ、クローラー運営者に利用料金が請求されると同時に、Webサイトの運営者には収益が分配されるという仕組みです。
役割 | 説明 |
---|---|
クローラー運営者 | ページを巡回して情報を集める人(企業) |
コンテンツ所有者 | 有料コンテンツの配信元(Webサイト運営者) |
Cloudflare | 中間で課金処理やイベント集計を行うプラットフォーム |
課金イベント | ページ閲覧に伴い、実際に請求が発生したログ |
この仕組みは、機械同士の自動取引を可能にするもので、Web3時代の「価値に対する公平な支払い」の土台になりうるモデルでもあります。
現在、私たちがWeb上で得ている情報は、検索エンジンやAIが「クローラー」と呼ばれるプログラムを使って自動収集しています。
しかし、こうした収集が無料かつ無制限で行われることで、情報の価値が軽んじられることもあります。
そこで注目されているのが、「Pay per Crawl(ペイ・パー・クロール)」という新しい仕組みです。
Pay per Crawlは、Webコンテンツの閲覧に対して「料金を設定できる仕組み」です。
例えば、あるニュースサイトが「政治記事は無料だが、医療記事は100円」と設定することで、情報の希少性や重要度に応じて価格を決めることができます。
これは、創作者やメディアが情報の価値を守りつつ、収益も得られる持続的なモデルの第一歩です。
簡単に例えるなら「情報に電子チケットをつけるイメージ」でしょうか。
コンテンツ提供者はより緻密な価格戦略を取ることができるようになります。
この仕組みの鍵となるのが上述した「HTTP 402 Payment Required」というステータスコードですね。
今まではほとんど使われていなかったこのコードを活用することで、「このページは有料です」とプログラムに伝えられるようになります。
AIもクローラーも、このコードを見れば「支払いが必要」と判断できます。
Pay per
Crawlは、単なる課金モデルではないようです。
少なくとも、Introducing pay
per crawl: enabling content owners to charge AI crawlers for
access の原文を読んでいると、私にはそう思えます。
情報の価値を守り、創作者が安心して質の高いコンテンツを提供できる仕組みが、定着するかもしれません。
「Pay per
Crawl(ページ閲覧に対する課金)」は現在、プライベートベータとして提供されています。
Webコンテンツへのアクセスに対して料金を支払いたいと考えているクローラー運営者、またはコンテンツに対して課金を導入したいと考えているクリエイターは、ぜひCloudflareに連絡してほしいと呼びかけられています。
参加対象者は、次の通りです。
要するにAI開発企業とコンテンツ提供者ってことですよ。
前者が動かないと、AIに係る課題は前に進まないわけです。
SNSで連日繰り広げられているAIとイラストレーターの口論も、終わることなく続くでしょう。
とはいったものの…どっちみちAIにコンテンツを食わせてやる義理もないのですから、「支払いなきAIクローラーはブロック」というサイトにしてしまって良いと思います。
すなわち、AIクローラーに対して金銭の支払いを求める選択肢を与えることができるということですね。
どっちみちブロックする気マンマンなのであれば、AIクローラーに対してのみ、全ページ有償化設定をするイメージです。
詳細および申し込みは、以下のURLからアクセスできます。
https://www.cloudflare.com/paypercrawl-signup/
また、既存のエンタープライズ顧客は、担当のアカウントエグゼクティブに直接連絡することで参加が可能です。
Cloudflareが展開する「Connectivity Cloud」は、次のように多様な機能を提供しています。
これらの機能は、企業・開発者がより安全かつスケーラブルなWebサービスを展開するための基盤として活用可能です。
Cloudflareは、Web通信の高速化と安全性向上を目的とした無料アプリを提供しています。
任意のデバイスから 1.1.1.1 へアクセスすることで、インターネットの接続速度とセキュリティを強化するDNSベースのアプリを利用開始できます。
より良いインターネットの構築を目指すCloudflareのミッションや活動に興味がある方は、公式サイトを通じて理念を確認できます。
また、技術職をはじめとした複数のポジションで採用活動も行われているようですね。
このように、Pay per
Crawlは単なる技術的機能としてだけではなく、コンテンツの価値保全や健全なネット環境の構築に向けた一歩として位置づけられています。
プロダクトの成長フェーズを見守ると同時に、必要に応じて参加・検討する価値のある取り組みと言えるでしょう。
参考サイト:👉Cloudflare 公式ブログ記事 「Introducing pay per crawl: enabling content owners to charge AI crawlers for access(Pay per crawl:AIクローラーへのアクセスに課金できる新しい仕組みの紹介)」
全ページをリスト化したサイトマップも用意していますが、けっこうなページ数があります。
下記の「カテゴリー分けサイトマップ」のほうが使いやすいでしょう。
アナザーエデンの強敵戦やストーリーコンテンツのリスト、お勧めバッジなどを掲載したコーナーです。
期間限定のない普通のRPGですので、初心者でも安心して続けていけるゲームとなっています。
もっとも重要なグラスタについては、場所別に網羅した表があります。
個人でウェブサイトを作るにはどうすればいいか。
HTML・CSS・JavaScriptの書き方はもちろん、無料かつ広告なしでホームページを作る方法を掲載したコーナーです。
Webデザインやレイアウトについても書いてあります。
ゲームとパソコンだけじゃなく、アウトドアも趣味なんです。
このコーナーでは魚釣りの記録とか、魚料理のレシピ、はたまたサイクリングなどなど。
アウトドアに関連するコンテンツが詰め込まれています。