- 米国標準技術研究所（NIST）が機械学習（ML）モデルの攻撃耐性をテストするための新しいオープンソースソフトウェアツール「Dioptra」をリリース。
- DioptraはGitHubで利用可能であり、NISTのAIリスク管理フレームワークの「測定」機能をサポート。
- Dioptraは画像分類モデルに対する攻撃を測定するために開発されたが、音声認識モデルなど他のMLアプリケーションのテストにも適応可能。
- ユーザーは、3つの攻撃カテゴリーがモデルのパフォーマンスにどのように影響するかを判断し、データの浄化やより堅牢なトレーニング方法などの様々な防御策の使用を評価できる。
- Dioptraはモジュラーデザインを持ち、異なるモデル、トレーニングデータセット、攻撃戦術、防御策の組み合わせで実験が可能。
私の考え：NISTのDioptraはMLモデルの脆弱性をテストするための貴重なツールであり、様々な攻撃に対するモデルの耐性を評価するのに役立ちます。特に、データの浄化やトレーニング方法の改善などの防御策の有効性を評価できる点が重要だと思います。また、モジュラーデザインとPythonプラグインによる拡張性は、様々なユーザーにとってアクセスしやすい環境を提供しています。
元記事: https://www.scmagazine.com/news/nist-releases-open-source-platform-for-ai-safety-testing