- Anthropicは、有害なバイアスや差別などの影響に対する評価を望んでいる
- Anthropicは、新しいベンチマークを開発する新しいイニシアチブを発表
- 既存のベンチマークは新しい大規模言語モデル（LLMs）の能力と影響を十分にテストするには不十分と述べられた
- Anthropicは、AIの安全性、高度な機能、および社会的影響に焦点を当てた新しい評価セットの開発が必要であると述べた
- 高優先度の領域には、LLMのAI安全レベル（ASL）、アイデアと応答の生成の高度な機能、およびこれらの機能の社会的影響が含まれる
- ASLカテゴリーでは、AIモデルがサイバー攻撃の実行を支援したり自律的に行ったりする能力などが強調された
- 進化した機能については、ベンチマークが科学研究の変革、有害性への参加と拒否、多言語能力などを評価できる必要がある
- 評価は、「有害なバイアス、差別、過度な依存、依存、付着、心理的影響、経済的影響、均質化などの広範な社会的影響」といった概念に焦点を当てるべきである
- 評価はAIが使用するトレーニングデータには利用できないようにすべきであり、1,000から10,000のタスクや質問を保持し、専門家が特定の領域でパフォーマンスをテストするタスクを作成するよう勧められている
この記事では、Anthropicが新しいAIモデルの能力をテストするための新しいベンチマークを開発すると発表しました。これにより、AIの安全性や社会的影響などに焦点を当てた包括的な第三者評価エコシステムの必要性が強調されました。Anthropicの取り組みは、AIモデルの評価において新たな視点を提供する可能性があります。