- OpenAIのChatGPTは2021年のトレーニングカットオフ日までコーディング問題の解決に優れていたが、その年以降問題を解決するのに苦労した。
- 言語モデルは基本的な問題の意味さえ理解できなかったため、問題セットがトレーニングデータ外の場合、ChatGPTのコーディング問題の解決能力は大幅に低下した。
- 研究によると、ChatGPTのコーディング問題の成功率は2021年以降、簡単な問題で52％、難しい問題では0.66％にまで低下した。
- 研究では、Leetcodeのテストウェブサイトから5つのプログラミング言語（C、C ++、Java、JavaScript、Python）で728のコーディング問題をカバーし、ChatGPTの能力をテストした。
- 研究者の一人であるYutian Tang氏は、AIモデルの制限を理解し、それを避ける方法を見つけるために開発者がAIモデルを使用する際に重要であると述べた。
私の考え：ChatGPTのコーディング問題の解決能力が時系列で低下する結果は興味深い。AIモデルの制限を理解し、それに適切に対処することが、開発者にとって重要であることが強調されている点が重要だと思います。