- Appleの研究者による最近の研究では、AIが形式的な推論のために使用する数学モデルに重大な欠陥があることが明らかになった。
- 研究では、Appleの研究者がAI Large Language Model（LLM）に質問を何度も異なる方法で行い、数字が関わるときに回答に予期せぬ変化があることが発見された。
- 研究によれば、同じ質問の異なる実装で性能にかなりのばらつきがあり、信頼性に疑問が生じることが示された。
- Appleの研究者は、性能のばらつきが最大で10%に達することを特定し、プロンプトのわずかな変化でもLLMの回答の信頼性に深刻な問題が発生する可能性があることを示した。
- AIは、パターン認識に依存して応答を提供し、ロジックではなく、パターン認識が使用されていることが明らかになった。
Appleの研究結果は、大規模言語モデルを使用する際に情報を正確に検証する必要性を強調し、AIが正確な回答を提供できるかどうかについて大きな懸念を引き起こす。また、AIに盲目的に依存する代わりに、批判的思考と適切な注意を払う必要があることを示唆している。
このような研究結果は、AIの信頼性に関する重要な示唆を提供し、AIの使用において情報の検証が非常に重要であることを再確認しています。
元記事: https://www.makeuseof.com/apple-study-reveals-ai-reasoning-critical-flaws/