- Anthropicは、新しいベンチマークを開発する新しいイニシアチブを発表
- 既存のベンチマークが新しい大規模言語モデル（LLM）の機能や影響を十分にテストできないと述べる
- AIの安全性、高度な機能、社会的影響に焦点を当てた新しい評価基準の開発が必要と述べる
- 評価は、AIの安全性レベル（ASL）、アイデアや応答の生成能力、およびこれらの能力の社会的影響を測定できる課題や質問が含まれる
- 良い評価のための原則をリストアップし、AIのトレーニングデータには利用できないことや専門家によるタスク作成の重要性を強調
自己評価や内部評価に頼らず、第三者評価の重要性を認識しているAnthropicの取り組みは、AIの進化にとって重要であると感じます。新たなベンチマークの開発により、AIの安全性や社会的影響を包括的に評価することができる環境が整備されることは、AI技術の発展において前進を意味するでしょう。