要約:
- TetrateとBloombergが協力して、Envoy Gatewayプロジェクトに基づく人工知能（AI）ゲートウェイの開発を行うことを明らかにした。
- Envoy Gatewayプロジェクトは、Ambassador Labs、Fidelity Investments、Tetrate、VMwareによってリードされるオープンソースの取り組みで、APIの管理を簡素化するための手段を提供している。
- Envoy AI Gatewayには、LLMの使用を監視・制御するアプリケーショントラフィック管理機能が含まれ、LLMが利用できなくなった場合には認可メカニズムやインテリジェントなフォールバックオプションを呼び出す統一インターフェースを介して行われる。
- TetrateとBloombergはKServeを活用し、TensorFlow、XGBoost、scikit-learn、PyTorch、ONNXなどの機械学習フレームワークに対応するオープンソースプロジェクトを提供している。
- Varun Talwar氏は、Bloombergとの協力により、複数の大規模言語モデル（LLMs）を呼び出す能力を使用する取り組みが現在行われていると述べた。
考察:
今回の協力により、AIゲートウェイの開発が進められることで、APIの呼び出しをより簡単にすることが期待される。LLMの利用や複数のAIサービスプロバイダーへのリクエストのルーティングを一元化することで、効率的なAIワークフローを実現できる可能性がある。また、LLMの利用や管理において、企業はより柔軟なアプローチを求めており、オープンソースコミュニティとの共有を通じて、業界全体に貢献する取り組みが進められていることが重要である。