- Microsoft Researchの新しいPhi-4 LLMは、14 billionのパラメーターを使用して、より大きなモデルと同等の能力を持ち、類似システムの約5分の1のサイズです。
- Phi-4は、科学技術の質問に答える際、GPT-4を上回る性能を示し、数学では、大学レベルの質問で56.1％、数学競技問題では80.4％の成功率を達成しています。
- Phi-4は、厳密なプロンプトの指示や表などのフォーマット要件に従うことに苦労しており、これはQ&Aや推論に焦点を当てたトレーニングの結果であると研究者は説明しています。
- Phi-4は、未知の人物の架空の伝記などの虚偽の情報を生成することができ、時には基本的な論理テストに失敗することもあります。
- Phi-4は、数学的推論、プログラミング、一般的知識などの領域において、約400 billionトークンに及ぶ合計50種類の合成データセットを作成してトレーニングに使用しました。
- Microsoftは、Phi-4をAzure AI Foundryプラットフォームを通じて提供し、次週にはHuggingFaceでリリースする予定です。
Phi-4は、大規模なモデルに勝る結果を示す一方で、厳格なプロンプトの指示に従うことや論理的なテストにおいて一部の課題を抱えています。Microsoftは合成データと有機データの組み合わせを通じて、モデルのトレーニングデータの品質向上に取り組んでおり、その成果をPhi-4に反映させたことが特徴的です。