- IBM Researchが”TinyTimeMixer”という小さなAIモデルを開発
- 小さなモデルは時系列予測向けで、1百万未満のパラメータで訓練される
- AIのトレンドではモデルのサイズを縮小し、性能を維持する動きがある
- 時系列データの予測にはtransformerアーキテクチャを採用
- 小さなモデルは高速な予測が可能で、低コストで動作する
- 知識の蒸留（knowledge distillation）により、大規模モデルを小さくする取り組みも進む
小さなAIモデルが注目される理由は、高速な予測や低コストでの動作が可能な点です。情報の蒸留を通じて、大規模モデルを効率的に小さくする取り組みも進んでいます。これにより、小さなモデルでも高い精度を維持することが期待されています。