- GoogleのProject Zeroの脆弱性研究者が、新しいフレームワーク「Naptime」を導入
- Naptimeイニシアチブは2023年中頃に開始され、脆弱性発見手法の改善を目指し、特に変種解析の自動化に焦点を当てている
- フレームワークの目的は、LLMが人間のセキュリティ専門家の反復的かつ仮説駆動型アプローチを模倣した脆弱性研究を行うこと
- フレームワークのアーキテクチャは、AIエージェントと人間のセキュリティ研究者の作業フローを模倣した特殊ツールセットとのやり取りに中心を置いている
- Project Zeroは、このフレームワークがモデルに依存せず、バックエンドに依存しないことを述べ、ヒトエージェントがモデルの微調整のために成功する軌道を生成するために使用できると述べている
- プロジェクトゼロの研究者は、CyberSecEval2の最新LLMベンチマークに基づくガイドラインを元に、脆弱性発見における多目的LLMのパフォーマンスを向上させるための一連の原則を構築
- プロジェクトゼロの研究者は、GPT 4 TurboをAIエージェントとし、Naptimeツールを使用してCyberSecEval2のテストを実施し、新しいトップスコアを達成
- プロジェクトゼロの研究者は、セキュリティコミュニティがより困難で現実的なベンチマークを開発する必要があると考えている
この記事では、GoogleのProject Zeroチームが新しいフレームワーク「Naptime」を導入し、LLMを使用した脆弱性研究を可能にする取り組みについて紹介されています。Naptimeは脆弱性発見手法を改善し、特に変種解析の自動化に焦点を当てています。フレームワークは、AIエージェントと特殊ツールの相互作用を中心に構築され、人間のセキュリティ研究者の作業フローを模倣しています。プロジェクトゼロの研究者は、CyberSecEval2のテストを通じて新しいトップスコアを達成し、セキュリティコミュニティにより困難で現実的なベンチマークの開発が必要であると考えています。
元記事: https://www.infosecurity-magazine.com/news/google-naptime-vulnerability/