要約：
- OPROによるプロンプト最適化の評価結果を示す
- 最適化器およびスコアラーとして使用されるLLMは異なる組み合わせで性能向上
- 最適化器LLM：事前学習済みのPaLM 2-L、instruction-tuned PaLM 2-L、text-bison、gpt-3.5-turbo、gpt-4
- スコアラーLLM：事前学習済みのPaLM 2-L、text-bison
- 主な評価ベンチマーク：GSM8K、Big-Bench Hard（BBH）
- 最適化された指示を他の数学推論データセットに転送する評価も実施
- 実装詳細：温度設定、メタプロンプト、異なるハイパーパラメータの影響を検討
感想：
この研究では、OPROによるプロンプト最適化の評価結果が示されており、最適化器LLMとスコアラーLLMの異なる組み合わせにより、大幅なパフォーマンス向上が実現されていることが示されています。さらに、最適化された指示が他の数学推論データセットにどのように転送されるかも評価されており、その有用性が示されています。実装詳細においては、温度設定やメタプロンプトなどの工夫が行われており、異なるハイパーパラメータの影響も検討されています。
元記事: https://hackernoon.com/how-opro-elevates-llm-accuracy-in-gsm8k-and-bbh-benchmarks