技術記事要約:
- iGenius Inc.は、高度に規制された産業向けの新しい大規模言語モデルColosseum 355Bを発表。
- Colosseum 355Bは、Nvidia Corp.との協力により開発され、3550億のパラメータを持ち、50以上の言語をサポート。
- モデルは、8ビット浮動小数点データを使用するFP8精度で事前トレーニングされ、メモリ使用量を削減。
- Colosseum 355Bは、Nvidia NIMマイクロサービスとして提供され、Nvidia APIカタログ経由で利用可能。
- モデルは、長期的な需要に適応できる専門のAIモデルを構築することが可能。
感想:
Colosseum 355Bは、高度に規制された産業向けに設計された強力なAIモデルであり、Nvidiaとの協力により開発されたことで、安全性と効率性の両方を実現しています。FP8精度を用いた事前トレーニングにより、メモリ使用量を削減しつつ、推論コストを50%削減するという革新的な手法が採用されています。また、Nvidia NIMマイクロサービスとして提供されることで、セキュアなAIモデルをクラウド、データセンター、ワークステーションに展開できる点も魅力的です。