このブログ投稿は、昨年の GOTO Amsterdam に関するカンファレンス講演の一部を更新したものです。講演はオンラインでも視聴できます。
機械学習プロダクト マネージャーとして、私は機械学習とプロダクト管理の交差点、特に製品、会社、ユーザーに価値とプラスの影響を与えるソリューションの作成に強い関心を持っています。しかし、この価値とプラスの影響を与えることは簡単な仕事ではありません。この複雑さの主な理由の 1 つは、デジタル製品向けに開発された機械学習イニシアチブでは、2 つの不確実性の原因が交差しているという事実です。
プロダクト マネジメントの観点から見ると、この分野は定義上不確実です。ソリューションが製品にどのような影響を与えるか、ユーザーがそれにどう反応するか、製品やビジネスの指標が向上するかどうかを知ることは困難です。この不確実性に対処する必要があることが、プロダクト マネージャーをプロジェクト マネージャーやプロダクト オーナーなどの他の役割と潜在的に異なるものにしているのです。製品戦略、製品の発見、機会の規模設定、優先順位付け、アジャイル、迅速な実験などは、この不確実性を克服するための戦略です。
機械学習の分野も不確実性と深く関わっています。私はいつも「予測モデルでは、予測可能であるかどうかわからないことを予測することが目標です」と言っています。これは、プロジェクトの範囲と管理が難しく、事前に質の高い成果物 (優れたモデル パフォーマンス) を約束できず、多くの取り組みがオフライン POC のまま永久に残ることを意味します。解決すべき問題を適切に定義し、初期のデータ分析と探索を行い、小さく始めて、製品とビジネスに近づくことは、プロジェクトにおける ML の不確実性に取り組むのに役立つアクションです。
この不確実性のリスクを最初から軽減することが、最終的に製品、会社、ユーザーに価値をもたらす取り組みを開発する鍵となります。このブログ投稿では、この不確実性を最初から管理するために ML 製品の取り組みを開始する際に学んだ 3 つの重要な教訓について詳しく説明します。これらの学習は主に、最初はデータ サイエンティストとして、現在は ML 製品マネージャーとしての私の経験に基づいており、ML ソリューションが本番環境に到達してプラスの影響を達成する可能性を高めるのに役立ちます。次のことを探索する準備をしてください。
正直に言うと、私はこれを苦い経験から学びました。モデルが開発され、予測パフォーマンスが「十分に良い」と判断された後、モデルの予測が特定のユースケースに実際には使用できなかったり、問題の解決に役立たなかったりするプロジェクトに関わったことがあります。
これが起こる理由はたくさんありますが、私がよく見かけるのは次のようなものです。
ML イニシアチブを順調に開始するには、解決すべき適切な問題から始めることが重要です。これは製品管理の基礎であり、Marty Cagan や Melissa Perri などの製品リーダーが繰り返し強調してきました。これには、製品の発見 (ユーザー インタビュー、市場調査、データ分析などを通じて) と、機会の規模設定と優先順位付け (定量的および定性的なデータを考慮) が含まれます。
機会が特定されたら、2 番目のステップは、問題の潜在的な解決策を検討することです。これには、問題の解決に役立つ場合は、機械学習と GenAI 技術を含める必要があります。
予測モデルの使用を含むソリューションを試すことに決めた場合、3 番目のステップは、ソリューションまたはシステムのエンドツーエンドの定義と設計を行うことです。この方法では、システムによる予測の使用方法に関する要件を確認し、予測部分の設計と実装に影響を与えることができます (何を予測するか、使用するデータ、リアルタイムとバッチ、技術的な実現可能性のチェックなど)。
ただし、このトピックには注目すべき例外があるかもしれないことを付け加えておきたいと思います。問題からではなく、GenAI ソリューションから始めることは、このテクノロジーがあなたの業界や私たちが知っている世界に真の革命をもたらすことになるのであれば、意味があるかもしれません。これについては多くの議論がありますが、それが起こるかどうかはまだ明らかではないと思います。これまで、この革命は非常に特定の業界 (カスタマー サポート、マーケティング、デザインなど) で見られ、特定のタスク (コーディング、執筆、作成など) を実行する際の人々の効率に関連しています。ただし、ほとんどの企業にとって、R&D 作業と見なされない限り、短期/中期の価値を提供するということは、依然として問題に焦点を当て、GenAI を他の潜在的なソリューションと同様に検討することを意味します。
厳しい経験もこの学習につながります。これらの経験に共通しているのは、ウォーターフォール方式で定義された大規模な ML プロジェクトです。これは、6 か月かけて ML ライフサイクルを段階的に実行するタイプのプロジェクトです。
何が問題になるでしょうか? 以前私が引用した「予測モデルでは、予測可能であるかどうかわからないことを予測することが目標です」という言葉を思い出してください。このような状況では、プロジェクトの 5 か月目にモデル評価中に、モデルが十分な品質で予測する必要のあるものを予測する方法がないことに気付くことがあります。または、さらに悪いことに、6 か月目にスーパー モデルが本番環境にデプロイされ、それが何の価値ももたらしていないことに気付くこともあります。
このリスクは、製品に関連する不確実性と相まって、可能であれば大規模なウォーターフォール型の取り組みを避けることが必須となります。これは新しいことではなく、ML の取り組みにのみ関連することでもないことから、従来のソフトウェア開発、アジャイル、リーン、その他の方法論や考え方から学べることはたくさんあります。小規模から始めて、仮説を迅速かつ継続的に検証し、反復的に実験とスケーリングを行うことで、このリスクを効果的に軽減し、洞察に適応し、コスト効率を高めることができます。
これらの原則は従来のソフトウェアおよび製品開発では十分に確立されていますが、ML モデルとデプロイメントの「小規模」を定義するのは簡単ではないため、ML イニシアチブへの適用は少し複雑です。ただし、ML イニシアチブを小規模に開始するのに役立つアプローチがいくつかあります。
ルールベースのアプローチ。決定木を通じて予測モデルを簡素化します。この方法では、モデルを展開する必要なく、機能またはシステムの一部として「予測」を「if-else ステートメント」として本番環境に簡単に実装できます。
概念実証 (POC) は、ML ソリューションの予測の実現可能性をオフラインで検証し、実稼働時の予測ステップの可能性 (または可能性がない) を示唆する方法です。
最低限実行可能な製品 (MVP) では、まず重要な機能、機能性、またはユーザー セグメントに焦点を当て、価値が実証された場合にのみソリューションを拡張します。ML モデルの場合、これは、たとえば、最も単純で優先度の高い入力機能のみ、またはデータ ポイントのセグメントのみを予測することを意味します。
構築するのではなく購入することで、既存の ML ソリューションまたはプラットフォームを活用し、開発時間と初期コストを削減します。価値が証明され、コストが大幅に増加した場合にのみ、社内で ML ソリューションを開発することを決定するのが適切なタイミングです。
GenAI を MVP として使用すると、一部のユースケース (特にテキストや画像が関係する場合) では、システムの予測ステップを解決するための最初のアプローチとして genAI API を使用できます。テキストの分類、感情分析、画像検出などのタスクでは、GenAI モデルが優れた結果をもたらします。価値が検証され、コストが過度に増加する場合、チームは特定の「従来の」ML モデルを社内で構築することを決定できます。
画像やテキストの分類に GenAI モデルを使用することは可能で高速ですが、はるかに単純で制御可能なモデルで予測できるものに対して、非常に複雑なモデル (高価、制御不足、幻覚など) を使用することを意味します。面白い例えとしては、ピザをトラックで配達するというアイデアがあります。実現可能ですが、なぜ自転車を使わないのでしょうか?
データは、データ サイエンティストと ML チームが ML イニシアチブを開始するときに繰り返し遭遇する問題です。重複、エラー、バッチの欠落、奇妙な値などを含むデータに何度驚いたことでしょう。そして、それはオンライン コースで見つかるおもちゃのデータセットとはまったく異なります。
必要なデータが存在しないということもあります。特定のイベントの追跡が実装されておらず、収集と適切な ETL が最近実装されたばかりです。十分な履歴データとボリュームデータを使用してプロジェクトを開始するには、数か月待たなければならないという状況を私は経験しました。
これらはすべて、「ゴミを入れればゴミが出る」という格言に関係しています。ML モデルの良し悪しは、トレーニングに使用したデータの品質に左右されます。多くの場合、ソリューションは、モデルを改善するよりもデータを改善する方が改善される可能性が高くなります (データ中心の AI)。データは、十分な量、履歴 (何年にもわたって生成されたデータは、1 週間で生成された同じ量よりも多くの価値をもたらす可能性があります)、および品質を備えている必要があります。これを実現するには、成熟したデータ ガバナンス、収集、クリーニング、および前処理が不可欠です。
倫理的な AI の観点から見ると、データは偏見や差別の主な原因でもあるため、そのことを認識し、これらのリスクを軽減するための措置を講じることが最も重要です。データ ガバナンスの原則、プライバシー、規制遵守 (EU の GDPR など) を考慮することも、データの責任ある使用 (特に個人データを扱う場合) を確実にするための鍵となります。
GenAI モデルの場合、これはピボットです。膨大な量のデータがすでにトレーニングに使用されています。これらのタイプのモデルを使用する場合、トレーニングに量と品質のデータは必要ありませんが、微調整 (「良いデータ = 良い GenAI」を参照) やプロンプトの構築 (コンテキストの育成、少数ショット学習、検索拡張生成など — これらすべての概念については、以前の投稿で説明しました) には必要になる場合があります。
これらのモデルを使用すると、トレーニングに使用するデータの制御が失われ、そこで使用されるデータの質や種類の不足に悩まされる可能性があることに注意することが重要です。GenAI の出力には、ソリューションに悪影響を与える可能性のある偏見や差別の既知の例が多数あります。良い例は、Bloomberg の記事「ChatGPT は採用担当者の夢のツールです。テストでは人種的偏見があることが判明」です。偏見をテストする LLM リーダーボード、またはこれらの偏見を回避するように特別にトレーニングされた LLM は、この意味で役立ちます。
このブログ投稿は、ML 製品の取り組みが特に難しい理由、つまりデジタル製品におけるソリューションの開発に関連する不確実性と、ML モデルの使用を通じて物事を予測しようとすることに関連する不確実性の組み合わせについて議論することから始まりました。
これらのリスクを軽減するために実行可能な手順と戦略があることは安心できます。しかし、おそらく最も効果的なのは、取り組みを正しい方向から始めることです。そのためには、適切な問題とソリューションのエンドツーエンドの設計から始め、初期の範囲を縮小し、データの品質、量、履歴の正確さを優先することが非常に役立ちます。
この投稿がお役に立ち、ML 製品に関連する今後の新しい取り組みにどのように取り組み始めるかを考える上で役立つことを願っています。
Adevinta の機械学習プロダクト マネージャー | DataForGoodBcn の取締役
元記事: https://towardsdatascience.com/starting-ml-product-initiatives-on-the-right-foot-cf24cbe163b3