- 新しいAIアプリをiOSデバイスで開発するための方法が提供された
- 新しい言語モデルOLMoEは、iPhone 15 Pro以降のデバイス、MシリーズのiPadやMacで動作する
- OLMoEはMoE（Mixture-of-Experts）モデルであり、複数の専門サブモデルを組み合わせて複雑な問題を解決する
- OLMoEはプライバシーを重視し、デバイス上でのみインタラクションを行う
- OLMoEは40トークン以上/秒の速度でテキストを処理できる
- モデルは4ビットの量子化バージョンで、モバイルパフォーマンスに最適化されている
- デバイスコンテキストを考慮したモデルで、クラウドにデータを送信することなく、ローカルのデータを使用してAIを実行可能
- オンデバイスモデルは遅延なく動作し、環境によらずに機能する
新しいAIアプリ開発の手法として、OLMoEは刺激的な可能性を持っています。特にプライバシーとデバイスコンテキストに焦点を当て、ローカルでの高速な処理を実現することが特徴です。また、4ビットの量子化によりモバイルパフォーマンスが向上し、クラウドへの依存を軽減する点も魅力的です。
元記事: https://thenewstack.io/new-small-ai-model-lets-developers-experiment-on-ios/