EXL、持続的に進化するAIサービングフレームワークの設計を語る

EXLは、企業AIの競争優位性がモデル能力からモデルを囲むサービングハーネス（アーキテクチャ、メモリ管理、スケジューリング、推論最適化のエンジニアリングシステム）へ移りつつあると提言した。まず業務負荷から制約を定めてからアーキテクチャを選ぶべきだとし、KVキャッシュが並行数とコンテキストの増加に伴いGPUメモリ不足を招く例を挙げ、測定してから最適化することを強調。フレームワークは新しいモデルやハードウェアを取り込みやすくし、モデル変更をアーキテクチャ再構築ではなく評価と設定の判断にするべきだとしている。