- Gen AIの開発者は、GoogleのGemini 1.5など、100万トークンの情報を一度に処理できるシステムを開発中
- AI21 LabsはLLM（大規模言語モデル）に新しいアプローチを提案し、Jambaと呼ばれるモデルをリリース
- Jambaは256,000トークンのコンテキストウィンドウをサポートし、従来のLLMを上回る性能を発揮
- Shoham氏は、LLMの単体では限界があり、他のモジュールと組み合わせることで性能を向上させることが重要と述べている
- MRKLシステムはNeuralとSymbolicなアプローチを組み合わせたAIシステムであり、深層学習だけでなく記号処理も含む
Shoham氏の研究は、LLMのみではなく他のモジュールとの組み合わせが重要であることを示唆しており、Gen AIの進化に向けて新たな展望を提供しています。