要約:
- LLMsはHumanEvalやMBPPなどの単一のコードタスクで優れたパフォーマンスを示すが、完全なコードリポジトリを扱う際には課題があります。
- 現在の方法は、類似性に基づく検索や手動ツール、APIを利用してLLMのコードリポジトリとのインタラクションを向上させようとしています。
- CODEXGRAPHはLLMsとコードリポジトリ由来のグラフデータベースインターフェースを統合したシステムで、精度の高いコンテキストの取得とナビゲーションを可能にします。
- CODEXGRAPHは、ノードがコード内のシンボル（モジュール、クラス、関数など）を表し、エッジがこれらのシンボル間の関係を表すコードグラフデータベースを構築します。
- CODEXGRAPHは、CrossCodeEval、SWE-bench、EvoCodeBenchの3つのリポジトリレベルのベンチマークで評価され、競争力のあるパフォーマンスを達成します。
考察:
CODEXGRAPHは、既存のRACG方法の制限を解消する革新的なアプローチで、LLMsをグラフデータベースインターフェースと統合しています。この方法により、LLMsの大規模コードリポジトリから情報を取得し、学術および実用的なソフトウェアエンジニアリングタスクのパフォーマンスが著しく向上します。大規模なコードベースの取り扱いにおける主要な課題を克服することで、CODEXGRAPHは自動ソフトウェアエンジニアリングの進歩に貢献し、効率的で正確なLLMによるコーディングソリューションの道を開いています。