- WaymoはGoogleのDeepMindとの関係を強調しており、GoogleのMLLM Geminiに基づいた新しいトレーニングモデルEMMAを開発している。
- EMMAはセンサーデータを処理して自動車の「将来の軌跡」を生成し、Waymoの自動運転車に進路決定と障害物回避の支援を提供する。
- Waymoは、MLLMが自動運転において新たな応用可能性を示唆しており、「MLLMを第一級の要素として用いる自動運転システムの開発」を提案している。
- EMMAはWaymoのロボタクシーが複雑な環境でナビゲーションするのに役立つツールとして開発された。
- WaymoはEMMAの限界を認識し、将来の研究が必要であると述べており、例えば、3Dセンサー入力を取り込むことができないなどの課題がある。
WaymoがMLLMを使用して自動運転車をトレーニングすることにはリスクがあり、現在の研究論文では触れられていない。自動車が40mphで繁華街を走行する際に、Geminiのようなチャットボットが幻覚を見たり、時計を読んだり物を数えるのに失敗する可能性がある。これらのモデルを本格的に展開するにはさらなる研究が必要であり、Waymoもその点を明確にしている。
元記事: https://www.theverge.com/2024/10/30/24283516/waymo-google-gemini-llm-ai-robotaxi