- 東京のスタートアップSakana AIの研究者たちは、新しい技術「Universal Transformer Memory」を開発
- この技術は、特別なニューラルネットワークを使用してLLM（大規模言語モデル）を最適化し、情報を効率的に保持・破棄する
- 「Prompt engineering」という分野が生まれ、コンテキストウィンドウの内容を調整することが重要視されている
- 現在のモデルは長いコンテキストウィンドウをサポートしており、無駄なトークンを削除し重要な情報を保持することでコスト削減と速度向上が可能
- Universal Transformer MemoryはNAMM（Neural Attention Memory Models）を使用し、効率的で柔軟なプロンプト最適化を実現
私の考え：
新しいUniversal Transformer Memory技術は、NAMMを用いて効率的なプロンプト最適化を実現しており、長いコンテキストウィンドウにおいてもコスト削減と性能向上をもたらす可能性がある。NAMMは、タスクに応じて自動的に振る舞いを調整する点も興味深い。将来的には、LLMのトレーニング中にNAMMを使用するなど、さらなるメモリ機能の拡張が期待される。
元記事: https://venturebeat.com/ai/new-llm-optimization-technique-slashes-memory-costs-up-to-75/