要約:
- Bolt.newやLovable.devなどのツールが、アプリを構築するのは簡単なコマンドでできると宣伝している。
- しかし、技術的に深いところに入ると、限られた文脈ウィンドウやトレーニングの切れ端、AIに最新のドキュメントが含まれていないことなどにより、すぐに行き詰まることがある。
- エンジニアにとっては単なるデバッグのように感じるが、非エンジニアにとっては非常に威圧的に感じる。
- 友人がBolt.newでOAuthの問題で詰まった際、6つの異なるLarge Language Modelsを使って同じプロンプトにどのように取り組むかを試した。
- 以下に、Google OAuthの誤構成に関する問題、各LLMからの回答、非技術者にとってどれほど簡単に理解できるか、6つのLLMの評価基準（正確性、明瞭さ、完全性、推論、潜在的リスク、非エンジニア向けのアクセシビリティ）の詳細が示されている。
感想:
AIを使って技術的な問題に取り組む際、非エンジニア向けの説明やアクセシビリティが重要であることが強調されている。最新のドキュメントが反映されていないなどの問題もあり、AIだけでは完全な解決策が得られない場合があることが示唆されている。技術的な深さに関わらず、コミュニケーション能力や推論力がAIモデルの重要な要素であることが示されている。
元記事: https://substack.com/home/post/p-155587755%3Futm_campaign%3Dpost%26utm_medium%3Dweb