- 大規模言語モデル（LLMs）の限られた文脈問題に対処するため、EM-LLMが人間のエピソード記憶を模倣しようとしている。
- 論文「無限コンテキストLLMsの人間のようなエピソード記憶」は、華為技術とロンドン大学カレッジの研究者によってリリースされた。
- EM-LLMはエピソード記憶とイベント認知の重要な側面をLLMsに統合し、通常の機能を維持しながら無限のコンテキスト長を持つことができる可能性がある。
- EM-LLMは、ベイズの驚きとグラフ理論的境界の改良を使用して、人間のエピソード記憶を再現する。
- EM-LLMは、時間と類似性に基づいた2段階の検索プロセスを採用し、情報の人間らしいアクセスと取得を可能にする。
- InfLLMなどのLLMsのコンテキストウィンドウを改善する提案と比較した結果、EM-LLMは全体的に4.3%の改善を達成し、PassageRetrievalタスクではInfLLMに比べて33%の改善を示した。
- 研究者は、「EM-LLMのイベントセグメンテーションと人間が知覚するイベントの間に強い相関関係があることを明らかにし、この人工システムとその生物学的相手との架け橋を示唆している」と述べている。
この論文では、EM-LLMがLLMsの文脈長の問題に取り組む新しい方法を提案しています。人間のエピソード記憶を模倣することで、無限のコンテキスト長を実現し、人間らしい情報アクセスと取得を可能にします。EM-LLMは、他の提案と比較して優れた性能を示し、LLMsの長い文脈タスクにおいても拡張性があります。この研究は、LLMsとの相互作用における文脈長の問題に取り組む一歩と言えます。