シンボリック プロンプト プログラム検索: 構造を考慮した効率的なコンパイル時プロンプト最適化のアプローチ – Microsoft Research

• 最近のLLMアプリケーションでは、プロンプトがプログラムそのものになっている
• プロンプトプログラムは異なるユーザークエリやデータインスタンスに対して繰り返し呼び出される
• 大きな実践的な課題は、このようなプロンプトプログラムの最適化である
• SAMMOは、プロンプトプログラムのコンパイル時最適化のためのシンボリックプロンプトプログラム検索を行うフレームワークである
• SAMMOは、プロンプトプログラムを象徴的なレベルで表現し、最適化中に検索できる豊富な変換を可能にする
• SAMMOは、指示の調整、RAGパイプラインの調整、およびプロンプトの圧縮において、複数の異なるLLMで複雑なプロンプトのパフォーマンスを向上させることを示している
• すべてのコードは https://github.com/microsoft/sammo でオープンソースとして利用可能

私の考え：この研究では、SAMMOというフレームワークを導入し、プロンプトプログラムの最適化を行うためのシンボリックプロンプトプログラム検索を実現しています。SAMMOは以前の手法を一般化し、複雑なプロンプトのパフォーマンスを向上させることが示されています。LLMアプリケーションにおいて重要な進歩であると考えられます。

元記事: https://www.microsoft.com/en-us/research/publication/symbolic-prompt-program-search-a-structure-aware-approach-to-efficient-compile-time-prompt-optimization/