- LLMチュートリアルの使用法は通常、APIを呼び出し、プロンプトを送信し、応答を使用することを含む。
- アプリケーションをリリースする際、LLMを単なるテキストからテキスト（または画像/音声/ビデオ）APIとして扱うアーキテクチャは、リスク、コスト、およびレイテンシの面で不十分である。
- LLMの適切なバランスを見つけるためのフレームワークを提案。
- LLMを使用する際のリスクと創造性を軸に考える。
- Agentic Systemsの使用は完全に独立した決定であり、複雑なタスクや非LLM機能が必要な場合に使用。
- 非決定論的技術であるLLMは、独自性が必要でない場合は問題が発生しやすく、リスクも高まる。
- LLMの呼び出し回数を減らすとコストとレイテンシが低下し、非決定性も減少。
- 8つのアーキテクチャの選択肢を提案。
私の考え：
LLMの使用にはリスクと創造性が重要であり、それぞれのユースケースに合った適切なバランスを見つけることが重要です。フレームワークを使用することで、アプリケーションのアーキテクチャを慎重に構築し、リスク、コスト、レイテンシとのバランスを取ることができます。