- OpenAIのo1シリーズのモデルは卓越した推論能力で知られているが、特にo1-miniはプログラミング関連のタスクには最適ではないと複数の開発者が報告している。
- o1-previewモデルは幻覚を起こし、存在しないライブラリや関数の文脈で回答し始めたという報告がある。
- 開発者はo1モデルを過大評価しており、o1-miniは他のオープンソースモデルよりもランキングが低い結果となった。
- 開発者にとって最も重要なのは応答時間であり、o1モデルは思考フェーズ後に応答せず、時には40%の確率で応答がない状態になることがある。
- o1モデルを使用してアプリを開発したRedditユーザーは、o1が無料のGPT-4よりも悪い結果だったと報告している。
- o1モデルはバグのあるコードを生成する可能性があり、プログラムの生成にはSonnet 3.5のようなモデルを使用するのが良いとされている。
- OpenAIはo1モデルではなくChatGPT 4oを使用したコーディングプラットフォームであるCanvasをリリースした。
個人的な意見: o1シリーズのモデルは推論に重点を置いており、プログラミングにおいては基盤の設計に役立つかもしれないが、コード生成などのタスクには他のモデルが適しているようだ。開発者たちのフィードバックからも、o1モデルが完全な解決策ではないことが浮かび上がっている。
元記事: https://analyticsindiamag.com/developers-corner/why-openai-o1-sucks-at-coding/