- ビジョン-ランゲージモデルはテキストとビジュアルデータの両方を扱うことができ、画像分析、オブジェクト認識、画像のキャプション生成などに利用される
- Continual Learning(CL)アプローチをビジョン-ランゲージモデル(VLMs)に適用する可能性を探る
- CLIPモデルはテキストと画像の関係を理解し、テキストから最も関連性の高い画像、画像から最も適切なテキストを返すことを目指す
- ビジョン-ランゲージモデルは時間経過によるデータ変化に対して再トレーニングする必要があり、その課題にはCLや他の戦略が存在する
Continual Learningをビジョン-ランゲージモデルに適用する可能性と課題に焦点を当てた本記事は、AIモデルの未来に向けた良い方向であると思われるが、完全に利用可能にするにはまだ多くの作業が必要であると述べている。
元記事: https://towardsdatascience.com/how-can-we-continually-adapt-vision-language-models-3e7bfa19b34e