• LLMチュートリアルでは、APIを呼び出し、プロンプトを送信し、応答を使用することが推奨されている。
  • LLMを単なるテキストからテキスト(または画像/音声/ビデオ)APIとして扱うアーキテクチャで本番展開すると、リスク、コスト、遅延の面で設計不足になる。
  • 過度にエンジニアリングされ、LLMを微調整し、ガードレールを追加する解決策も適切ではない。
  • 創造性とリスクを軸にしたフレームワークが提案され、GenAIアプリケーションまたはエージェントのアーキテクチャを決定するのに役立つ。

LLMは非決定論的技術であり、生成されるコンテンツの独自性が必要な場合以外は問題が発生する可能性がある。

元記事: https://towardsdatascience.com/how-to-choose-the-architecture-for-your-genai-application-6053e862c457