- ジェネレーティブAIが消費者技術の最新トレンドであるため、関連企業が改善方法について研究している
- 大規模言語モデル（LLM）が最も注目されており、アップルとNVIDIAが連携し、LLMを改善する研究を行っている
- 両社のエンジニアは、Appleが先に公開した「Recurrent Drafter（ReDrafter）」に焦点を当てた研究を共有している
- AppleのReDrafterをNVIDIAのTensorRT-LLMツールに統合することで、トークン生成が最大2.7倍高速化される
- これにより、ユーザーが体験する遅延が削減され、プロセスがより省電力化され、GPUの必要性が低減する
- これらの特定の要素をジェネレーティブAIに使用することで、技術をより効率的かつコスト効果的にすることができる
この記事からの印象は、AppleのReDrafterがNVIDIAの技術と組み合わさることで、ジェネレーティブAIの効率改善が進み、よりコスト効率的になる可能性があるということです。
元記事: https://www.lowyat.net/2024/339695/apple-nvidia-team-up-to-improve-llm/