技術記事の要約:
- UCバークレーのNovaSky研究チームが、オープンソースのAIモデル「Sky-T1-32B-Preview」を19時間かけて450ドル以下で構築し、OpenAIのo1-previewと同等の性能を発揮
- Sky-T1はAlibabaのQwen2.5-32-Instructを微調整し、QwQ-32B-Previewで生成されたデータでトレーニング
- 合成トレーニングデータの使用はコストを下げるのに役立つ
- Sky-T1は数学およびコーディングのベンチマークでo1-previewと同等以上の成績を収めたが、より高度な物理関連の質問を含むGPQA-Diamondではo1には及ばなかった
- NovaSkyはモデルのすべての部分(重み、データ、インフラ、技術的詳細)をオープンソース化
- 技術記事では、Lambda Cloudの価格設定によると、Sky-T1の構築コストは450ドルであり、GPT-4の推定コンピュートには7800万ドルかかったことが示唆されている
自分の考え:
オープンソースのAIの発展は、小規模な研究室や非営利団体などにとって競争力のあるモデルを開発する機会を提供し、技術巨大企業によって支配されている新しい分野において、より公平な状況を生み出す可能性がある。
元記事: https://www.zdnet.com/article/450-and-19-hours-is-all-it-takes-to-rival-openais-o1-preview/