- 最近の研究によると、ChatGPT（GPT-3.5を使用）に与えられたコーディング問題が、2021年のトレーニングデータのカットオフ前にLeetCodeのコーディング練習サイトに存在していた場合、機能的な解決策を生成するのに非常に成功したことが明らかになりました（IEEE Spectrum報告）。
- しかし、2021年以降に問題が追加された場合、時々質問さえ理解できず、成功率が急激に低下することがあり、データが不足している場合にAIの限界が強調されました。
考察：AIの性能は十分なデータがないと限界が現れることが示されており、過去のデータのみに頼ることは新しい状況への対応能力を制限する可能性があると考えられます。
元記事: https://www.theverge.com/2024/7/7/24193768/using-chatgpt-for-coding-help-is-a-fraught-endeavor