要約
- MetaのAutomated Compliance Hardening（ACH）ツールは、変異誘導、LLMベースのテスト生成システムで、特定の関心領域に固有の未検出の欠陥（ミュータント）を生成し、それらのミュータントを使用してテストを生成してプラットフォームをリグレッションから守る。
- ACHは特定の欠陥をターゲットにしたユニットテストを自動生成し、欠陥の記述は不完全で自己矛盾していても、ACHはその種類のバグを捕捉すると証明されたテストを生成する。
- 従来の自動テスト生成技術はコードカバレッジを増やすことを目指していたが、ACHは特定の欠陥を対象とし、カバレッジを増やすことも多い。
- ACHはLLMベースのソフトウェアエンジニアリングの原則に基づいており、生成されたテストが記述された欠陥の種類を捕捉することを検証できる。
- ACHは3つのステップで動作し、プライバシーテストなどに適用可能であり、産業システムにおいてLLMを活用した新しいアプローチが可能となっている。
考察
ACHは従来の自動テスト生成手法とは異なり、特定の欠陥を対象としており、欠陥を捉えるテストを生成することでコードを強化する。LLMを活用することで、現実的な懸念を表現したミュータントを生成し、その欠陥を自動的に捉えるテストを生成することが可能となっている。このアプローチは、テスト効率を向上させるだけでなく、将来のリグレッションに対するコードの強化にも有益である。MetaはACHをプライバシーテストなどに適用し、エンジニアたちが特定の懸念に対してコードを強化するのに役立つと結論づけている。