- Appleの研究者6人による新しい研究が、大規模言語モデルの数学的「推論」が非常に壊れやすく信頼性に欠けることを示唆する。
- 新しいGSM-Symbolic評価では、20以上の最先端LLMをテストし、平均精度がGSM8Kに比べて低下した。
- 名前や値を変更することで精度が変化し、数値変更の方が名前変更よりも精度が悪化する傾向がある。
- 「GSM-NoOp」ベンチマークセットでは、問題に無関係な情報を追加すると、精度が17.5％から65.7％まで劇的に低下した。
- 研究者は、モデルがデータを理解せずに単なる「パターンマッチング」を行うことの限界を強調している。
この記事は、大規模言語モデルが数学的推論において壊れやすく信頼性に欠けることを示唆しており、データセットの変更がモデルの精度に大きな影響を与えることが明らかになっています。モデルの理解力や推論力の限界が明らかになり、意外な状況に対応する際の脆弱性が示されています。