要約:
- 魔法は最新の言語モデルが1億トークンのコンテキストウィンドウを持っていると主張
- 魔法の最新LLMは、従来の高い2百万トークンのGoogle Gemini 1.5 Proをはるかに上回る
- 魔法の新ツールHashHopは、LLMの評価を行うために開発され、100億トークンのコンテキストウィンドウで95％の正確さでハッシュを思い出す
- 魔法は、長いコンテキストウィンドウを通じてモデルのパフォーマンスを向上させる代替手法よりもコンテキストがより良く機能すると主張
- 長いコンテキストウィンドウはすべての問題を解決するわけではなく、Magicの主張には懐疑的な見方が必要
感想:
魔法の最新のLLMが100億トークンのコンテキストウィンドウを持つという主張は非常に注目すべきものです。この長いコンテキストウィンドウは、モデルのパフォーマンスを向上させるための代替手法よりも効果的であるとされています。ただし、長いコンテキストウィンドウがすべての問題を解決するわけではないため、この主張には慎重な検討が必要です。
元記事: https://spectrum.ieee.org/ai-context-window