Edge AI FinOps 2026: Session AffinityとPrefix Cacheで予算を守る実践法

エッジAIで大規模モデルを扱うと、コストはリクエスト数だけでは読めなくなります。特にセッション型ワークロードでは、前置きコンテキストの再送が費用と遅延を押し上げる主要因になります。

なぜSession AffinityがFinOpsに直結するのか

トークン課金は単純な入出力の和ではありません。実運用では次が効きます。

• 同一セッションでの前文再利用率
• キャッシュヒット率
• セッションごとのTTFTばらつき

Session Affinityは状態局所性を高め、Prefix Cacheは繰り返し前文を償却可能コストへ変換します。

制御プレーン設計

予算制御を組み込んだ経路を標準化します。

1. 入力時にテナント予算残を判定
2. session keyとaffinity先を決定
3. 推論層でtoken/cached-tokenを記録
4. budget serviceで燃焼率を更新
5. guardrailで低優先度処理を遅延・縮退

リクエストクラス分離

• Class A: ユーザー対話、低遅延必須
• Class B: 分析系、中遅延許容
• Class C: バックグラウンド補完

クラスごとに、上限トークン・フォールバックモデル・打ち切り条件を定義します。

可視化すべき指標

• テナント別cached-token比率
• 成果1件あたりコスト
• クラス別TTFT P95
• 要約挿入頻度
• フォールバック発火率

最適化の順番

1. プロンプト前文を標準化してcache hit向上
2. Nターンごとの要約チェックポイント導入
3. テナント別ハード上限設定
4. 高コスト処理を非同期ワークフローへ分離
5. 週次でコストスパイクの事後分析

FinOpsは経理の後追い作業ではなく、実行時制御の設計課題です。Session Affinityと観測性、そしてポリシーを一体化できるチームが、2026年のAIコストを制御できます。