要約:
- Foundation modelsはAI領域で大成功を収めており、大規模な時系列データを学習して予測を行うLTSMの概念が注目されている。
- 言語モデルと時系列モデルの主な接点は、入力データが両方とも順次データであり、データがエンコードされる方法とキャプチャするパターンや構造の種類が異なる。
- LTSMモデルは、大規模な言語モデルと同様に、実世界のデータから学んだ数値パターンを活用して時系列の予測問題を次の単語予測問題として枠組み化することができる。
- 最適なパフォーマンスとゼロ/少数ショットの予測を実現するための主要な課題は、時系列トークンと自然言語トークンの意味情報を整合させることにある。
考察:
LTSMモデルは、言語モデルを時系列モデルに再プログラムすることで、既存の方法を凌駕するパフォーマンスを実現しています。時系列データを扱う際のさまざまな選択肢を検討することで、より汎用性の高いモデルを構築する方法についての知見が示唆されています。
元記事: https://towardsdatascience.com/time-series-are-not-that-different-for-llms-56435dc7d2b1