要約
- LLM（Large Language Models）は正確なユニットテストを作成する能力に欠けていることが明らかになった。
- ChatGPTとCopilotはシンプルなアルゴリズムの正しいコード生成において優れた能力を示したが、ユニットテストの生成には苦戦している。
- 自動テスト生成はソフトウェア開発におけるAIの主要なユースケースの1つであり、しかし、生成されたテストの品質に疑問が投げかけられている。
- AI生成のテストはしばしば特定の要件やコードベースのニュアンスを理解しておらず、タウトロジカルなテストを増やす可能性がある。
- AIにテストを書かせることは誤った安全感を生み出す可能性があり、重要なシナリオを網羅しないことでソフトウェアの品質と信頼性が損なわれる可能性がある。
考察
AIによるユニットテストの生成は便利な一方で、コードやテストの品質を確認するために経験豊富なエンジニアが重要であることが示唆されています。AIモデルにより多くの文脈を提供することが、成功率を大幅に向上させる効果的な方法であることが示されています。ただし、AIがテストケースを新規作成する際にはまだ課題が残されており、人間のテスターの創造的な問題解決スキルが重要性を維持しています。
元記事: https://analyticsindiamag.com/developers-corner/why-cant-ai-tools-get-programming-tests-right/