要約:
- 大規模言語モデル（LLMs）を用いた情報検索（IR）における重要な課題は、ゼロショット関連性ランキングにおける人間が作成したプロンプトへの過度な依存であり、これによりプロセスが時間を要し主観的になる。
- 現在の手法は主に手動プロンプトエンジニアリングに依存しており、自動プロンプトエンジニアリング技術は関連性ランキングの複雑さに適応できない。
- Rutgers大学とUniversity of Connecticutの研究者チームが提案したAPEERは、反復的フィードバックと選好最適化を通じてプロンプトエンジニアリングを自動化し、LLMsの効率と精度を向上させる。
- APEERは、フィードバック最適化と選好最適化によりプロンプトを生成し、MS MARCO、TREC-DL、BEIRなどの複数のデータセットを使用して訓練と検証を行い、IRタスクとLLMアーキテクチャ全体で効果的で堅牢な方法を提供する。
- APEERは、関連性ランキングタスクにおけるLLMの性能向上を示し、手動プロンプトよりも優れた結果を達成する。
感想:
今回の研究では、人間が作成したプロンプトへの依存から解放され、LLMsの効率と精度を向上させるための自動プロンプトエンジニアリング手法が提案されています。APEERのアプローチは革新的であり、IRタスクやLLMアーキテクチャ全体で効果的な解決策を提供しており、LLMsの最大の潜在能力を引き出す可能性があります。