- University of Marylandの研究チームが、AxoNNというスケーラブルで分散型のトレーニングフレームワークを開発し、Gordon Bell Prizeにノミネートされた。
- AxoNNは、GPUを活用して大規模な言語モデルを迅速にトレーニングすることができる。
- Frontierスーパーコンピューターの計算能力を活用して、AxoNNは3200億パラメータのAIモデルのトレーニングを記録的な速度で行うことができた。
- Frontierは37,000以上のAMD Instinct™ MI250X GPUsを搭載し、世界で最も速いスーパーコンピューターの1つである。
- FrontierのAMD GPUsを使用したAxoNNは、低精度で1.38エクサフロップスの前例のない速度を達成した。
私の考え:
この研究チームは、AxoNNという革新的なトレーニングフレームワークを開発し、Gordon Bell Prizeにノミネートされるなど、非常に優れた成果を上げています。GPUを活用した大規模なモデルのトレーニングにおいて、Frontierスーパーコンピューターの計算能力を最大限に活かし、記録的な速度でのトレーニングを実現しています。また、プライバシーのリスクに対処するためのGoldfish Lossという技術を導入するなど、革新的なアプローチを取っています。