- CLIPの潜在能力を引き出すLLM2CLIPアプローチが提案される
- LLMsの組み込みにより、CLIPの画像キャプション処理能力が向上
- LLM2CLIPはLLMをキャプション空間で微調整し、テキスト能力を抽出する
- LLM2CLIPは効率的なトレーニングプロセスを設計して、クロスモーダルタスクで大幅な改善をもたらす
LLM2CLIPは、CLIPモデルのパフォーマンスを16.5%向上させ、英語データのみで訓練されたCLIPモデルを最先端のクロス言語モデルに変える。
元記事: https://www.microsoft.com/en-us/research/project/llm2clip/