- メインフレームオペレーティングシステムは1940年代に始まり、金融や政府などの重要な分野で不可欠。
- COBOLコードの遺産は約200〜2200億行と推定され、現代のプログラミング言語に書き直す必要性。
- COBOLコードの書き直しには人的リソースを使った場合、1行あたり32〜50セントのコストがかかり、総額1000億ドルの課題。
- LLMの登場がこの課題に潜在的な解決策を提供するが、適用する際にいくつかの懸念がある。
- 主な懸念点：
- メインフレーム言語に対するトレーニングの限界。
- 適切なベンチマークの欠如。
- コード生成以外の複雑さ。
- FPT Software AI Centerの研究者はXMainframeを開発し、メインフレームのレガシーシステムとCOBOLコードベースに特化したLLMを提供。
- 解決策には、高品質のトレーニングデータセットを生成するための広範なデータ収集パイプラインが含まれている。
- MainframeBenchを導入し、主要なベンチマークを提供。
- XMainframeは既存の最先端LLMを凌駕し、複数選択問題で30％の高い正確性、質問回答ではBLEUスコアが2倍、COBOL要約ではGPT-3.5の6倍のスコアを達成。
- XMainframeはレガシーシステムの管理と近代化において重要な進展をもたらす潜在能力を示す。
研究者によるこのプロジェクトのリサーチについては、論文とGitHubをご覧ください。