グラフは、ソーシャル ネットワーク、ナレッジ ベース、生物システムなど、さまざまなドメインにわたる複雑な関係を表すデータ構造です。これらのグラフでは、エンティティはノードとして表され、それらの関係はエッジとして表されます。
これらの複雑な関係構造を効果的に表現し、推論する能力は、ネットワーク科学、ケモインフォマティクス、推奨システムなどの分野の進歩を可能にするために不可欠です。
グラフ ニューラル ネットワーク (GNN) は、グラフ マシン ラーニング タスク用の強力なディープラーニング フレームワークとして登場しました。近傍集約またはグラフ畳み込みを通じてグラフ トポロジをニューラル ネットワーク アーキテクチャに組み込むことで、GNN はノードの特徴とその構造的役割の両方をエンコードする低次元のベクトル表現を学習できます。これにより、GNN はさまざまなアプリケーション領域にわたって、ノード分類、リンク予測、グラフ分類などのタスクで最先端のパフォーマンスを実現できます。
GNN は大きな進歩をもたらしましたが、いくつかの重要な課題が残っています。教師あり GNN モデルのトレーニング用に高品質のラベル付きデータを取得するには、コストと時間がかかります。さらに、GNN は、異種のグラフ構造や、テスト時のグラフ分布がトレーニング データと大きく異なる状況 (分布外一般化) に苦労することがあります。
同時に、GPT-4 や LLaMA などの大規模言語モデル (LLM) は、その驚異的な自然言語理解および生成機能で世界を席巻しました。数十億のパラメータを持つ大規模なテキスト コーパスでトレーニングされた LLM は、かつては AI システムにとって非常に困難であると考えられていた、驚くべき少数ショット学習能力、タスク間の一般化、常識的推論スキルを発揮します。
LLM の驚異的な成功により、グラフ機械学習タスクにその力を活用するための研究が促進されました。一方では、LLM の知識と推論能力は、従来の GNN モデルを強化する機会を提供します。逆に、グラフに固有の構造化された表現と事実の知識は、幻覚や解釈可能性の欠如など、LLM の主要な制限のいくつかに対処するのに役立つ可能性があります。
この記事では、グラフ機械学習と大規模言語モデルの交差点における最新の研究について詳しく説明します。LLM を使用してグラフ ML のさまざまな側面を強化する方法を探り、グラフの知識を LLM に組み込むアプローチを確認し、このエキサイティングな分野の新しいアプリケーションと将来の方向性について説明します。
必要な背景情報を提供するために、まずグラフ ニューラル ネットワークと自己教師ありグラフ表現学習の中核となる概念と手法について簡単に説明します。
従来のディープ ニューラル ネットワークと GNN の主な違いは、グラフ構造のデータに対して直接操作できる点にあります。GNN は近傍集約方式を採用しており、各ノードは近傍から特徴ベクトルを集約して独自の表現を計算します。
グラフ畳み込みネットワーク (GCN)、GraphSAGE、グラフ注意ネットワーク (GAT)、グラフ同型ネットワーク (GIN) など、メッセージと更新機能のさまざまなインスタンス化を備えた多数の GNN アーキテクチャが提案されています。
最近では、自然言語トランスフォーマーの自己注意メカニズムをグラフ構造データに適用することで、グラフトランスフォーマーの人気が高まっています。例としては、GraphormerTransformer や GraphFormers などがあります。これらのモデルは、純粋に近傍ベースの GNN よりもグラフ全体の長距離依存関係をより適切にキャプチャできます。
GNN は強力な表現モデルですが、教師ありトレーニングに必要な大規模なラベル付きデータセットが不足しているため、パフォーマンスが低下することがよくあります。自己教師あり学習は、固有のグラフ構造とノード機能のみを必要とするプレテキストタスクを活用して、ラベルなしグラフデータで GNN を事前トレーニングする有望なパラダイムとして登場しました。
自己教師あり GNN 事前トレーニングに使用される一般的な口実タスクには、次のものがあります。
このようなプレテキスト タスクにより、GNN は事前トレーニング中にラベルなしグラフ データから意味のある構造的および意味的パターンを抽出できます。事前トレーニング済みの GNN は、比較的小さなラベル付きサブセットで微調整され、ノード分類、リンク予測、グラフ分類などのさまざまな下流タスクで優れたパフォーマンスを発揮します。
自己教師を活用することで、大規模なラベルなしデータセットで事前トレーニングされた GNN は、ゼロからのトレーニングと比較して、より優れた一般化、分布シフトに対する堅牢性、効率性を示します。ただし、従来の GNN ベースの自己教師あり手法にはいくつかの重要な制限が残っており、次に LLM を活用してそれらに対処する方法を検討します。
自然言語、推論、少量学習を理解する LLM の優れた能力は、グラフ機械学習パイプラインのさまざまな側面を強化する機会を提供します。この分野におけるいくつかの重要な研究の方向性を検討します。
GNN を適用する際の重要な課題は、ノードとエッジに説明、タイトル、要約などの豊富なテキスト属性が含まれている場合に特に、ノードとエッジの高品質な特徴表現を取得することです。従来は、単純な bag-of-words モデルまたは事前トレーニング済みの単語埋め込みモデルが使用されてきましたが、微妙な意味を捉えられないことがよくあります。
最近の研究では、大規模な言語モデルをテキスト エンコーダーとして活用して、GNN に渡す前に、より優れたノード/エッジ機能表現を構築することが実証されています。たとえば、Chen らは、GPT-3 などの LLM を使用してテキスト ノード属性をエンコードし、ノード分類タスクで従来の単語埋め込みよりも大幅なパフォーマンス向上を示しました。
より優れたテキスト エンコーダーの他に、LLM を使用すると、半教師あり方式で元のテキスト属性から拡張情報を生成することができます。TAPE は、LLM を使用してノードの潜在的なラベル/説明を生成し、これらを追加の拡張機能として使用します。KEA は、LLM を使用してテキスト属性から用語を抽出し、これらの用語の詳細な説明を取得して機能を拡張します。
LLM は入力機能の品質と表現力を向上させることで、優れた自然言語理解機能を GNN に伝え、下流のタスクのパフォーマンスを向上させることができます。
LLM の主な利点は、膨大なテキスト コーパスで事前トレーニングされているため、ラベル付けされたデータがほとんどまたはまったくなくても、新しいタスクをかなりうまく実行できることです。この少量学習機能を活用することで、大規模なラベル付けされたデータセットに対する GNN の依存を軽減できます。
1 つのアプローチは、自然言語プロンプトでグラフ構造とノード情報を記述することにより、LLM を使用してグラフ タスクの予測を直接行うことです。InstructGLM や GPT4Graph などのメソッドは、ノード接続、近傍などのグラフ トポロジの詳細を組み込んだ慎重に設計されたプロンプトを使用して、LLaMA や GPT-4 などの LLM を微調整します。調整された LLM は、推論中にゼロ ショット方式でノード分類やリンク予測などのタスクの予測を生成できます。
ブラックボックス予測子として LLM を使用することは有望ですが、構造の明示的なモデリングが有益な、より複雑なグラフタスクではパフォーマンスが低下します。そのため、一部のアプローチでは、LLM を GNN と組み合わせて使用します。GNN はグラフ構造をエンコードし、LLM はテキスト記述からノードの意味理解を強化します。
GraphLLM は、1) LLM がテキスト ノード属性をエンコードしてから GNN に渡す LLM をエンハンサーとして使用する戦略と、2) LLM が GNN の中間表現を入力として受け取り、最終的な予測を行う LLM を予測子として使用する戦略の 2 つを検討します。
GLEM はさらに進んで、相互強化のために LLM コンポーネントと GNN コンポーネントを交互に更新する変分 EM アルゴリズムを提案します。
少数ショット機能と半教師あり拡張によりラベル付きデータへの依存度を減らすことで、LLM 強化グラフ学習法は新しいアプリケーションのロックを解除し、データ効率を向上させることができます。
LLM は大きな成功を収めてきましたが、幻覚（事実に基づかない発言の生成）、推論プロセスの解釈可能性の欠如、一貫した事実知識を維持できないことなど、依然として大きな限界を抱えています。
グラフ、特に信頼できる情報源からの構造化された事実情報を表すナレッジ グラフは、これらの欠点を解決する有望な手段となります。この方向でいくつかの新しいアプローチを検討します。
LLM が大規模なテキストコーパスで事前トレーニングされる方法と同様に、最近の研究では、知識グラフで事前トレーニングして、より優れた事実認識と推論機能を付与する方法が検討されています。
いくつかのアプローチでは、事前トレーニング中に、事実上の KG トリプルを自然言語テキストと単純に連結または整列させることで入力データを変更します。E-BERT は、KG エンティティ ベクトルを BERT のワードピース埋め込みと整列させ、K-BERT は元の文と関連する KG トリプルを含むツリーを構築します。
研究者たちは、それぞれ独自の利点と用途を持つ LLM をグラフ学習パイプラインに統合するいくつかの方法を研究してきました。LLM が果たすことができる主な役割は次のとおりです。
たとえば、TAPE (Text Augmented Pre-trained Encoders) モデルは ChatGPT を活用して引用ネットワーク論文の説明と疑似ラベルを生成し、それを使用して言語モデルを微調整します。結果として得られる埋め込みは、ノード分類とリンク予測タスクのために GNN に送られ、最先端の結果を実現します。
注目すべき例の 1 つは、グラフ モデリング言語 (GML) を使用してグラフを表現し、ゼロ ショット グラフ推論タスクに強力な GPT-4 LLM を活用する GPT4Graph モデルです。
たとえば、MoleculeSTM モデルは、対照的な目的を使用して GNN と LLM の埋め込みを調整し、LLM が GNN から構造情報を組み込むことができると同時に、GNN が LLM の意味知識の恩恵を受けることを可能にします。
LLM とグラフ学習の統合には大きな期待が寄せられていますが、いくつかの課題に対処する必要があります。
有望な解決策の 1 つは、大規模な LLM (教師モデル) からの知識をより小さく、より効率的な GNN (生徒モデル) に転送する知識蒸留です。
さらに、LLM 強化グラフ学習モデルの公正かつ包括的な評価ベンチマークを確立することは、その真の能力を測定し、有意義な比較を可能にするために不可欠です。
さらに、LLM ベースのグラフ学習モデルの説明可能性を高めることは、信頼を構築し、重要なアプリケーションでの採用を可能にするために不可欠です。思考連鎖プロンプトなどの手法を通じて LLM の固有の推論機能を活用することで、説明可能性の向上に貢献できます。
LLM とグラフ機械学習の統合は、すでにさまざまな実際のアプリケーションで有望な結果を示しています。
大規模言語モデルとグラフ機械学習の相乗効果は、人工知能研究の刺激的な最前線を示しています。GNN の構造的帰納的バイアスと LLM の強力な意味理解機能を組み合わせることで、特にテキスト属性グラフのグラフ学習タスクにおける新たな可能性を切り開くことができます。
大きな進歩が遂げられている一方で、効率性、スケーラビリティ、移転可能性、説明可能性などの分野では課題が残っています。知識の蒸留、公正な評価ベンチマーク、マルチモーダル統合などの技術は、LLM 強化グラフ学習モデルを実際のアプリケーションに実際に展開するための道を開いています。
SIMA: 多様なアプリケーション向けに仮想世界全体で AI エージェントをスケールアップ
私は過去 5 年間、機械学習とディープラーニングの魅力的な世界に没頭してきました。私の情熱と専門知識により、特に AI/ML に重点を置いた 50 を超える多様なソフトウェア エンジニアリング プロジェクトに貢献してきました。また、私の継続的な好奇心は、自然言語処理にも私を惹きつけており、この分野をさらに探求したいと考えています。
大規模言語モデルの推論と微調整のためのメモリの最適化
デコーダベースの大規模言語モデル: 完全ガイド
Snowflake Arctic: エンタープライズ AI 向けの最先端の LLM
Llama 3 について知っておくべきことすべて | これまでで最も強力なオープンソース モデル | 概念から使用方法まで
AI ソフトウェア エンジニアの台頭: SWE-Agent、Devin AI、そしてコーディングの未来
検索エンジンを超えて: LLM を活用した Web ブラウジング エージェントの台頭
広告主の開示: Unite.AI は、読者に正確な情報とニュースを提供するために、厳格な編集基準を遵守しています。当社がレビューした製品へのリンクをクリックすると、報酬を受け取る場合があります。
