- 欧州連合（EU）AI法は、AI開発の画期的な出来事として謳われている。
- しかし、この枠組みは曖昧で、非技術的で幅広いとして批判されている。
- Compl-AIは、AI法の遵守を決定するための最初の評価フレームワークとして発表された。
- EU AI法によると、モデルとシステムは不適格、高リスク、限定リスク、最小リスクのラベルが付けられる。
- Compl-AIのフレームワークは、27の技術分野にわたってLMMの応答を評価する。
- モデルは、0（全く遵守していない）から1（完全に遵守している）のスケールで判断される。
- 最も遵守しているモデルはGPT-4 TurboとClaude 3 Opusで、0.89の総合スコアを持つ。
- ほとんどのモデルは、推薦の一貫性、サイバー攻撃への強さ、公平性に苦しんでいた。
- また、ほとんどのモデルは、追跡性において0を獲得した。
- 研究者は、EU AI法がモデル評価の無視された側面に焦点を当てることにより、LMMのよりバランスの取れた開発につながると期待している。
私の考え: EU AI法の重要性は高まっていますが、技術的な実装にはまだ課題が残っているようです。Compl-AIのような評価フレームワークは、モデルメーカーにとって重要な指標となり得るでしょう。欧州連合の枠組みが他の地域にも影響を与える可能性があることも考慮に入れるべきです。