- OpenAIのChatGPTが生成したコードの評価を行った研究がIEEE Transactions on Software Engineeringに掲載された。
- 2021年以降のコーディング問題の解決時にChatGPTのパフォーマンスが低下することが明らかになった。
- ChatGPTの機能コード生成能力には、89%から0.66%まで幅広い成功率があることが研究で示された。
- タスクの難易度や使用されるプログラミング言語などの要因が結果に影響を与える。
- 研究チームは、GPT-3.5のLeetCodeテストプラットフォームから728のコーディング問題を解決する能力をテストした。
- ChatGPTは、特に2021年以前に存在した問題において優れた能力を示した。
- ChatGPTは、自身のミスを修正する際には成功率が低いことが示された。
- ChatGPTが生成したコードは、同じ問題に対する人間の解決策の少なくとも50%よりもランタイムやメモリのオーバーヘッドが少ないことがわかった。
- AIによって生成されたコードにはセキュリティ上の懸念があり、いくつかの脆弱性があるが、修正可能であることも示された。
- ChatGPTを使用する開発者は、AIが問題をよりよく理解し、潜在的な脆弱性を回避するための追加情報を提供するべきである。
- AIによって生成されたコードの機能とセキュリティを向上させるため、開発者はより多くの関連知識を提供し、潜在的な脆弱性についてAIに伝えるべきである。
この研究は、AIが生成したコードの機能性とセキュリティに関する重要な洞察を提供しており、ChatGPTの強みと限界を理解し、生成技術を向上させるための指針を示しています。