- Promptrieverは、Johns Hopkins大学とSamaya AIの研究者によって導入された新しい技術であり、「言語モデルのようにプロンプトを受け入れる最初の検索モデル」とされる。
- Promptrieverは、関連情報の検索だけでなく、プロンプトに含まれる命令に従うことも可能。
- 今までのIRシステムは、ユーザーのクエリと文書の類似性スコアに基づいてマッチングを行っていたが、Promptrieverはモデルの指示に従う能力を保持。
- Promptrieverのトレーニングパラダイムは、モデルがインスタンスにおける命令に従う能力を保持するように設計されており、他のLLMにも適用可能。
- トレーニングセットには、マッチング文書の他に、「命令ネガティブ」と呼ばれるクエリと関連があるがユーザーの質問には関係ない情報も含まれる。
研究者の発見によれば、Promptrieverは他のバイエンコーダーモデルを上回り、指示に従うタスクで最高のクロスエンコーダーモデルに近いスコアを獲得。
Promptrieverは、標準的な検索品質にペナルティを課すことなく、このレベルのパフォーマンスを達成。
「正しいトレーニングデータを使えば、現代のバイエンコーダーは、言語モデルと同様に自由形式の自然言語で指示/プロンプトを受け入れることができることを示しています。LMとIRコミュニティの調整が、密な検索モデルのさらなる改善を促すことを願っています。」
元記事: https://bdtechtalks.com/2024/09/23/promptriever-llm-information-retrieval/