技術記事要約:
- ArmのCortex-A320の登場により、開発者はIoTエッジAIワークロードを処理するためのさらなるオプションを持つようになった。
- Cortex-A、Cortex-M、Ethos-U NPUベースのデバイスを比較し、AIアプリケーションに適したプロセッサを選択する必要がある。
- 組み込みデバイスのAI計算効率は大幅に向上しており、ArmのM-およびA-プロファイルアーキテクチャの改良により、機械学習推論のエネルギー消費量あたりの多重の増加が実現している。
- Cortex-A320などのArmv9ベースのCortex-Aプロセッサは、スケーラブルベクトル拡張（SVE2）により以前の世代からAI性能を向上させた。
- 各アーキテクチャには異なる利点があり、ハードウェアを選択する際には生のパフォーマンスを設計の柔軟性と比較する必要がある。
考察:
各プロセッサの性能を実世界のAIワークロードに評価するためには、理論的なMAC実行能力をデータ型ごととクロックサイクルごとに分析することが重要である。ハードウェアアクセラレーションのサポートとソフトウェアの開発は、Armが提供する包括的なランタイムサポートソフトウェアによって実現されており、異なるMLフレームワークとランタイムに対してハードウェアアクセラレーションをサポートしている。Ethos-U NPUは、特定のデータ型に最適化されており、量子化された8ビット整数データウェイトを処理するのに非常に効率的である。
元記事: https://newsroom.arm.com/blog/arm-edge-ai-solution