- ブルームバーグのプラットフォームエンジニアリングチームがTetrateと協力して完全オープンソースの「AI Gateway」を構築
- 複数のLLMの前に配置され、認証、レート制限などの機能を処理
- Envoy Gatewayを活用して構築
- 11月中旬のKubeconカンファレンス前に最小限の機能を備えたMVPをオープンソース化することを目指す
この記事では、ブルームバーグのプラットフォームエンジニアリングチームがTetrateと協力して「AI Gateway」を構築する取り組みについて述べられています。このプロジェクトは、複数のLLMの前に配置され、認証、レート制限などの機能を処理することを目的としており、Envoy Gatewayを活用して構築されます。Kubeconカンファレンス前に最小限の機能を備えたMVPをオープンソース化する計画が進められています。
元記事: https://www.thestack.technology/envoy-ai-gateway-bloomberg-tetrate/