要約：
- カナダのPicovoice社は2018年に設立され、クラウド上ではなくArduino、STM32、Raspberry Pi Zeroなどのエッジデバイスで音声AIを実行することを目指している。
- Picovoiceは、小さなプロセッサに技術を詰め込むために独自のANNアーキテクチャとランタイムであるXPUを作成し、パラメータのトリアージを行うアルゴリズムpicoLLMを開発。
- picoLLMは、限られたリソースを持つハードウェアプラットフォームに大規模なLLMを縮小して適合させることができる。
- Picovoiceは、クラウド上で動作していたLLMをエッジで動作させることを加速する使命を持っており、picoLLM技術を無料で提供している。
考察：
Picovoice社の取り組みは、クラウドからエッジへの移行を加速するだけでなく、限られたリソースで効率的なAIを実現する点で非常に興味深いと感じました。特に、picoLLMが大規模なLLMを最適化して物理システムに適合させる能力は革新的であり、エッジデバイスでのAIの普及を促進する可能性があると考えられます。
元記事: https://www.eejournal.com/article/want-to-run-llms-on-the-edge/