- AIモデルのローカルコンパイルは新しいAIプロセッサを活用するための強制的理由はない。
- ハードウェアが対応していない、モデルが利用できない、開発ツールの展開が面倒。
- AI PCsに対してローカルLLMを実行しようとしていたが、苦労が多かった。
- MicrosoftのAI PCsは軽量なAIモデルをサポートしているというが、実際の実行は難しかった。
- Copilot+ PCsでは顧客がデバイス上で推論を実行できるようにするためのハードウェアが搭載されている。
私の考え：
AIモデルをローカルで実行する際には、ハードウェアの対応性やモデルの適合性、開発ツールの利便性などに注意が必要です。IntelやQualcommなどの企業はAI関連の新技術に力を入れており、AIハードウェアの進化は速いですが、開発者が利用する際にはさまざまな課題があるようです。MicrosoftやIntelなどの企業は、AI機能をデスクトップアプリケーションに統合するためのツールを提供しており、開発者はそれを活用することで効率的に作業を進めることができるでしょう。
元記事: https://thenewstack.io/why-ai-pcs-are-not-for-developers/