- 2023年8月にパデュー大学の研究者が行った研究によると、ChatGPTがコーディングに関する質問に対して52％の間違いを犯していた
- ChatGPTのミスは見つけにくく、それが問題であることが明らかになった
- OpenAIは新しいツール「CriticGPT」を導入し、ChatGPTのコード出力のエラーを見つけるために使用する
- CriticGPTはAIトレーナーのアクセスを制限されており、人間の助けを借りてChatGPTの回答を精度評価する
- OpenAIは、AIモデルが進化するにつれて、AIトレーナーが不正確さを見つけるのが難しくなると認めている
ChatGPTが生成するコードに含まれるミスを特定することが難しい問題を解決するために、OpenAIは新しいツール「CriticGPT」を導入している。このツールは、AIトレーナーのアクセスを制限し、人間の助けを借りてChatGPTのコード出力を精度評価することで開発者を支援する取り組みを行っている。AIモデルの進化に伴い、精度の確保が困難になるリスクに対処するための一歩と言える。