- 新しい言語モデルOLMoEがリリースされ、iOSデバイスでのAIアプリ開発の実験が可能に
- OLMoEはiPhone 15 Pro以降やM-series iPads、Macsで動作し、将来的に他のApple製品でも利用可能に
- OLMoEモデルは、ローカルでモデルをテストしたり他のiOSアプリケーションに統合したり、単に遊ぶことも可能
- OLMoEは1Bのアクティブパラメータと7Bの総パラメータを持つスパースMoEモデルで、一般的なエッジデバイスで動作し、MMLU性能を実現
- OLMoEは4ビットの量子化バージョンで、モバイルパフォーマンスに最適化されており、オンラインで動作可能
上記の技術記事では、Ai2とContextual AIによる新しい言語モデルOLMoEのリリースについて紹介されています。これはiOSデバイスでのAIアプリ開発の実験を可能にするもので、1Bのアクティブパラメータと7Bの総パラメータを持つスパースMoEモデルとして、エッジデバイスでの性能を向上させています。また、4ビットの量子化バージョンでモバイルパフォーマンスに最適化されており、オフラインで動作可能です。
元記事: https://thenewstack.io/new-small-ai-model-lets-developers-experiment-on-ios/