- OpenAIのo3ベンチマークの論争は、Theranosの瞬間のように見え始めている。
- EpochAIのFrontierMathベンチマークで記録を打ち破ると主張しながら、テストデータの多くにアクセスし、同じ資金を提供していた。
- Epoch AIのTamay Besirogluは、OpenAIの関与を開示することが契約上制限されていたことを認めた。
- OpenAIはFrontierMathの多くの問題と解決策にアクセスしていたが、OpenAIには見えない「ホールドアウトセット」がモデルの能力を検証した。
- Gary MarcusなどのAI専門家は、OpenAIの主張の正当性を疑っている。
私の考え：このような論争は信頼性や透明性の重要性を再確認させます。AIの分野では、データのアクセスや開示に関する規範がますます重要になっています。今後は、より透明で公正なプラクティスが必要とされるでしょう。
元記事: https://analyticsindiamag.com/ai-news-updates/openai-just-pulled-a-theranos-with-o3/