- MetaとMistral AIによって開発された大規模言語モデルは、EU AI法の要件を満たさないことが、新しいオープンソースAI評価ツールの開発者によって述べられた。
- ツールであるCOMPL-AIは、”goal hijacking and prompt leak”、”toxicity and bias”などの27の評価基準を使用してAIモデルがEU AI法に適合しているかを判断するために構築された。
- 評価されたAIモデルには、OpenAIのGPT-4 TurboやClaude 3 Opusなどのクローズドソースシステム、およびオープンソースモデルであるLlama 2-7B ChatやMistral-7B Instructが含まれていた。
- COMPL-AIは、モデルがサイバーセキュリティと”差別の不在を確保する”点で不十分である一方、有害で毒性のあるコンテンツを防ぎ特定することでうまく機能していることを見つけた。
- Vechev氏は、LatticeFlowの共同創設者であり、大学教授であり、サイバー攻撃の耐性について異なるスコアを示すAIモデルについて言及している。
私の考え：
EU AI法に適合するAIモデルの重要性が強調されており、COMPL-AIのような評価ツールがAIモデルのセキュリティと公平性を評価するために活用されていることが示されています。サイバーセキュリティと差別の防止において課題がある一方、有害なコンテンツの予防と特定においてはうまく機能しているAIモデルも存在していることが報告されています。
元記事: https://www.govinfosecurity.com/do-leading-ai-models-comply-eu-ai-act-a-26680