- Cloud Native API管理は、超高速で軽量なAPIゲートウェイによって支えられています。
- 主要なクラウドネイティブで、EnvoyベースのAPIゲートウェイを使用して安全にAIアプリケーションを構築します。
- Istioはライフサイクル管理、テレメトリ、洞察を提供します。
- セキュアな内部開発者プラットフォームは、キュレーションされたプラグイン、マルチクラスターサポート、堅牢なInsightsエンジンを備えています。
- Solo.ioは、分散アプリケーション内のネットワークトラフィックの構成、運用、可視性を簡素化し、セキュリティを強化するアプリケーションネットワーキングソフトウェアを提供しています。
- AI Gatewayは、AIアプリケーションとLLM（Large Language Model）APIプロバイダー（Gemini、OpenAI、Mistralなど）間の相互作用を効率化するツールです。AI Gatewayは、AIアプリケーション向けにカスタマイズされた高度な機能を提供します。
この記事では、AI Gatewayの重要性とAI開発者向けの機能に焦点が当てられています。AI Gatewayは、AIアプリケーションやLLMシナリオ向けに設計されたAI Gatewayとして拡張されたAPI Gatewayです。API GatewayとAI Gatewayの両方が、アプリケーションとネットワーク全体でのパフォーマンス、機能、セキュリティ、可観測性を向上させることを目指しています。
AI Gatewayの重要な機能には、トークンベースの可観測性、LLMの使用状況の追跡、トークンベースのレート制限などがあります。また、AI Gatewayはプロンプトの強化、取得拡張生成（RAG）、セマンティックキャッシング、モデルのフェイルオーバーメカニズムなどの高度な機能をサポートしています。
元記事: https://www.solo.io/topics/ai-gateway/