• 大規模言語モデル(LLMやチャットボット)は、事実情報を吸収する際に、同じ情報を何度も繰り返し学ぶ必要がない。
  • 大規模データセットでのトレーニングは、LLMの執筆能力を向上させるかもしれないが、事実情報の暗記能力にはほとんど影響しない。
  • AIバブルは、AGIが到達可能であるという主張で長らく支えられてきたが、その信憑性が問われている。
  • LLMは、論理的推論や常識を用いることができず、大規模データセットでのトレーニングでは解決されない。
  • 人間が即座に気づくことを、LLMは認識できない。

LLMは、単語の意味を理解できず、論理的思考や単純な常識を用いることができないという根本的な問題は、大規模データセットでのトレーニングによって解決されることはない。回答はわずかに改善されるかもしれないが、スケーリングアップは私たちをAGIに導くことはない。現在でも、2〜3年後でも、恐らく永遠にそうではない。

元記事: https://mindmatters.ai/2024/12/the-promise-of-artificial-general-intelligence-is-evaporating/