- Appleの研究者による研究によれば、大規模言語モデル（LLMs）は見かけほど賢くない可能性がある
- LLMsは複雑な論理推論としてではなく、「洗練されたパターンマッチング」に近いとされる
- 従来の推論スキルのベンチマークであるGSM8Kテストによると、LLMsの性能は変数が変更されると減少する
- GSM-Symbolicという新しいベンチマークを開発し、変数を変更した結果、LLMsの性能に「脆弱性」が見られた
- LLMsは推論問題においてパターンマッチングを行い、概念を本質的に理解していない可能性が示唆される
この研究は、LLMsが実際の論理推論よりもパターンマッチングに依存している可能性を示唆しており、AIのハイプには健全な懐疑心が必要であることを強く示唆しています。
元記事: https://mashable.com/article/apple-study-reveals-major-ai-flaw-openai-google-meta-llms