- 米国AIセーフティ協会が、Scale AIを初の第三者評価機関として選定
- 合意により、AIモデルの評価が可能になり、新しいテストチャンネルが開かれる
- Scale AIのリリースによると、参加企業は一度モデルをテストし、その結果を世界中のAIセーフティ協会と共有可能
- 評価基準は、AIデータラベリング企業とAISIによって共同で開発される
- Scale AIの研究部門であるSEALが評価をリードし、数学、推論、AIコーディングなどの分野でのパフォーマンスを評価
Scale AIと米国AISIとの協定は、AIシステムが最高水準を満たす方法の基準を設定するだけでなく、モデルビルダーに技術を実際の世界に導入する前に検証する効率的な手段を提供する画期的な一歩である。第三者テストを通じて、政府は独自のテストインフラを構築するのに時間と費用がかかり、需要が増えても対応できない可能性があるため、この合意は公民間セクターの協力の新たな局面として位置付けられている。
Scale AIは、訓練データを提供し、他社のモデルを管理するサンフランシスコを拠点とする企業であり、政府とのテストや評価に関する以前の経験がある。昨年、国防総省は大規模な言語モデルをテストおよび評価する方法を考案するためにScale AIを1年契約で選定した。
私の考え：AI技術の向上と安全性確保は重要であり、第三者評価機関の導入は業界全体にとってプラスになると考えられる。Scale AIとAISIの協力は、AIシステムの透明性と信頼性を高める一助となるだろう。
元記事: https://fedscoop.com/us-ai-safety-institute-taps-scale-ai-for-model-evaluation/