AI スタックの進化: 基盤からエージェントへ – The New Stack

AIのツールにおける新しいパラダイムが現れており、AIの焦点はモデル開発からソフトウェアエンジニアや開発者による迅速で大規模なAIアプリケーションの構築を可能にすることに移行している。
AIスタックは、開発と管理を効率化するために設計された包括的なツール、ソリューション、コンポーネントの総称。
AIスタックの主要コンポーネントには、データ操作ツール、機械学習ライブラリ、ディープラーニングフレームワーク、実験トラッキングツール、展開ツールなどが含まれる。
AIスタックのインフラストラクチャは、基礎モデルからのパラメトリックな知識とPDF、データベース、検索エンジンなどの情報源からのノンパラメトリックな知識を使用してGenAI機能を実行。
POLM（Python, OpenAI, LlamaIndex/LangChain and MongoDB）AIスタックは、Pythonプログラミング言語で実装されたツール、ソリューション、フレームワークのコレクションで、現代のAIアプリケーションの効率的な開発を可能にする。

AIの進化に伴い、開発者がAIアプリケーションを迅速かつ大規模に構築する方法を見つけることに焦点が当てられています。今日のAIスタックは、AIモデルの開発と展開という重要ながら比較的解決されたタスクではなく、AIアプリケーションとシステムの実装、最適化、評価、監視に焦点を当てています。

モダンAIアプリケーションは、研究結果の新たなツールをほぼ即座に活用できるようになりました。さらに、データは豊富で、計算デバイスはますます強力になり、Generative AI（GenAI）ドメインのスケーリング法則を完全に活用できるようになっています。

AIスタックの風景は、伝統的な機械学習の断片化されたツール群から、LLM（Large Language Model）とGenAIの時代に最適化されたより統合された専門化されたエコシステムへの進化を表しています。

このスタックは、巨大な言語モデルの取り扱い、ベクトル埋め込みの管理、検索強化生成（RAG）パイプラインやエージェントシステムにおける複雑なAIワークフローのオーケストレーションを含む、モダンAIアプリケーションの独特で魅力的な課題に対処するために設計されています。

POLMスタックは、GenAIアプリケーションの開発を促進し、構造化されていないAI関連データの取り扱いを可能にし、現代のアプリケーションのリアルタイムな要求を満たすように構成されています。

このスタックには、LangChainをLLMオーケストレーターおよびフレームワークとして使用する手順のチュートリアルが提供されています。また、LlamaIndexをLLMフレームワークとして使用したPOLMスタックの紹介も行われています。

AIアプリケーションが成熟するにつれて、エージェントシステムはこれらの複雑な、動的なシステムをサポートするために幅広い機能を実行できるデータベースの進化を必要とするでしょう。ここが次のイノベーションの波が期待される場所です。