AIボット時代のCDN設計: キャッシュを「速度層」から「方針層」へ

AIクローラーの増加で、CDN運用の前提が崩れています。トラフィック総量は伸びる一方、従来の指標だけでは改善判断が難しくなりました。特に「キャッシュヒット率だけ追う」運用は、2026年では危険です。

Cloudflareが示したAI時代のキャッシュ課題は、多くの現場で既に再現されています。深い階層の記事やドキュメントが断続的に大量取得され、オリジン負荷と転送料金だけが増える。人間向けUXに寄与しないコストが目立つ状態です。

何が従来トラフィックと違うのか

AI系アクセスには次の特徴があります。

セッション継続性が低い
長尾ページへのアクセス比率が高い
更新直後に再クロールが集中する
同一時間帯に急激なバーストを起こす

この挙動は「人気ページ中心に繰り返し参照される」前提と相性が悪く、旧来のTTL設計ではオリジン保護が追いつきません。

対策は“1つのキャッシュ設定”を捨てること

現実的には、トラフィックを用途別に分離します。

人間の対話型アクセス
許可済みAIクローラー
正体不明の自動アクセス

同じTTL、同じキャッシュキー、同じレート制御で扱わないことが最重要です。

AI時代に効くキャッシュキー設計

記事・技術ドキュメント系では次が有効です。

無意味なクエリパラメータの正規化
言語・版情報をキーに明示反映
長尾ページにstale-while-revalidateを適用
新規公開URLの限定プリウォーム

小さな正規化でも、オリジン到達率を大きく下げられます。

オリジン保護の実装パターン

1) ボット識別に応じた受け入れ制御

有益クローラーは通しつつ、急峻なバーストはトークンバケットで平準化します。

2) 履歴記事のスナップショット配信

更新頻度が低いコンテンツは、動的生成ではなく読み取り専用層から返すことでCPU負荷を下げます。

3) ルート別TTL階層

トップ/一覧: 低TTL
エバーグリーン記事: 高TTL + 背景再検証
個別化ページ: バイパス

これで価値の低い再取得が本番処理を圧迫しにくくなります。

可観測性は“ボット一括”では足りない

最低でも次の軸を追加してください。

ボット識別確信度
取得意図（crawl/retrieve/verify）
区分別オリジンコスト
ブロック率と誤検知率
ルートカテゴリ別キャッシュ効率

目的は監視のための監視ではなく、ポリシー変更の意思決定に使える指標化です。

FinOpsでの説明方法

経営層には次の形で伝えると合意が取りやすいです。

人間リクエスト100万件あたり原価
AIクローラー100万件あたり原価
キー正規化で削減した追加オリジン費用
誤ブロックによる発見性低下リスク

この分解がないと、過剰遮断か過剰許容のどちらかに偏ります。

運用体制の更新

AI時代のキャッシュ方針は、インフラだけで完結しません。

Platform: 実装と強制
Content/SEO: クロール優先度
Security: 濫用閾値
Product: トレードオフ承認

この4者で週次調整できる体制が、挙動変化の速い時代に効きます。

AIボット流入は一時的なノイズではなく、Web需要構造の変化です。キャッシュを「速く返す仕組み」から「何をどう通すか決める仕組み」へ進化させたチームが、コスト・信頼性・発見性を同時に守れます。