- LLMsはテキスト理解と生成において印象的な能力を示し、Webスケールの非監督プリトレーニング、指示微調整、価値整合などの先進技術を活用して様々なタスクで強力なパフォーマンスを発揮する。
- しかし、LLMsの実世界のビッグデータへの適用は巨額なコストがかかるため、Relational Table Learning (RTL)への注目が高まっている。
- rLLMプロジェクトは、RTLへの挑戦に取り組み、GNNs、LLMs、TNNsを標準化されたモジュールに分解し、強固なモデルの構築を可能にする方法論を提供する。
- rLLMプロジェクトは、Data Engine Layer、Module Layer、Model Layerの3つの主要レイヤーから成る包括的なアーキテクチャを導入している。
- BRIDGEは、TNNsを使用して表データを処理し、関係テーブル内の”外部キー”を利用してテーブルサンプル間の関係を確立し、GNNsを使用して分析する簡単なRTLメソッドである。
- BRIDGEは、テーブルエンコーダーとグラフエンコーダーを効果的に組み合わせることで、単一のテーブル学習では利用できない複数のテーブル情報とそれらの相互関係から有益な洞察を抽出する能力を示す。
- BRIDGEアルゴリズムは、テーブルエンコーダーとグラフエンコーダーを組み合わせることで、従来の方法よりも優れた能力を示し、データの関係構造を考慮することの重要性を強調する。
自然言語処理の分野でLLMsが強力なツールとして使われており、RTLへの適用が注目されています。rLLMプロジェクトはGNNs、LLMs、TNNsを統一されたモジュールに分解し、BRIDGEなどのメソッドを通じてテーブルデータの処理と分析を効率的に行います。BRIDGEは複数のテーブル情報とその関係性を考慮し、従来の方法よりも優れたパフォーマンスを示すことが実験結果から確認されています。