要約：
- AI製作者とAIテスターを分離することで、より堅牢なシステムを作成する提案
- AIは本当に予想外の状況に対処できるかどうかが問題
- USC ISIのMayank Kejriwalらが新しい評価手法を提案し、AIモデルが本当に予想外のイベントに対処できるかを確認すべき
- Open World Learning（OWL）は新しい、未知のクラスに対処する機械学習アプローチ
- OWLを弱、準強、強の進行するバージョンに分け、強いOWLは自動運転車などの人間に重大な影響を与える領域で重要
- AI評価方法の根本的な変革が提案されており、開発者と評価者を別々にするRed Team-Blue Teamアプローチが重要であると主張
- 臨床試験と同様のシステムがAIの評価に必要であり、予想できないテストベンチマークを使用することが重要
- 研究者や資金機関がこれらの要件を厳格に遵守する必要があると提案されている
考察：
この記事では、AIの堅牢性を向上させるために、AI製作者とAIテスターを分離することの重要性が強調されています。特に、予想外の状況にどのように対処するかが焦点となっており、Open World Learning（OWL）や新しい評価手法の提案が行われています。AIの評価方法の根本的な変革が必要であり、Red Team-Blue Teamアプローチなどの手法が導入されることで、AIシステムの真の能力を評価することが可能になります。