要約:
- 同じ大規模言語モデルに基づくChatGPT、Perplexity、GitHub Copilotなどのツールは、異なるパフォーマンスを示す
- GitHub CopilotはWordPressプラグインの作成やコード修正のテストで失敗する一方、他のAIは成功する
- GitHub CopilotはJavaScriptコードを生成することができなかったり、エッジケースでエラーが発生するコードを提供したりする
- GitHub CopilotはAppleScript、Chromeオブジェクトモデル、Keyboard Maestroに関するスクリプト作成のテストで成功
- GitHub Copilotは一部のテストで失敗し、信頼性に課題があると指摘されている
感想:
GitHub Copilotは一部のテストで失敗しており、その信頼性に疑問が投げかけられています。AIのパフォーマンスは今後向上すると期待されていますが、現時点では改善の余地がありそうです。