Boosted.ai は、自社のニーズに対して拡張性が高く扱いにくい汎用 LLM から自社のドメイン (資本市場) に合わせたモデルに切り替えることで、コストを 90% 削減し、効率を大幅に向上させ、生成 AI 投資管理アプリケーションの拡張に必要な GPU 容量を確保しました。
2020 年、Boosted.ai は、150,000 のソースからのデータを処理する大規模言語モデル (LLM) 上に資産管理者向けの AI ポートフォリオ アシスタントを構築することで、人工知能 (AI) を搭載した金融分析プラットフォームである Boosted Insights を拡張しました。その結果、世界中のあらゆる株式市場 (北米、EU および英国、アジア太平洋、中東、ラテン アメリカ、インド) の 60,000 を超える株式に関するマクロ分析と市場動向分析が得られました。しかし、LLM の使用には、年間運用コストの高さや、GPU 容量の制限による拡張性の低下など、いくつかの大きな欠点がありました。
Boosted.ai は、AWS 上で実行されるモデルのドメイン最適化を開始し、次のことを行いました。
2023 年は、ジェネレーティブ AI が主流となった年でした。効率を高めて、より少ない労力でより多くの成果を上げることは、2024 年以降も企業の課題として残ります。チームにとって、ジェネレーティブ AI をどのように取り入れて生産性を向上させるかについての戦略を立てることは非常に重要です。ただし、明確なユースケースがある場合でも、ジェネレーティブ AI をビジネスの収益に見合った方法で実装する方法が必ずしも明らかであるとは限りません。
Boosted.ai が生成 AI を組み込んで投資管理クライアントの調査タスクを自動化し、Boosted.ai と顧客の両方の成果を向上させた方法をご紹介します。
2017 年に設立された Boosted.ai は、資産運用会社がデータを整理して効率を高め、ポートフォリオ指標を改善し、データに基づいたよりよい意思決定を行うのを支援する AI および機械学習 (ML) プラットフォームである Boosted Insights を提供しています。強力な LLM の影響を目の当たりにした創業者たちは、クローズドソースの LLM を使用して AI を活用したポートフォリオ管理アシスタントを構築することを決めました。このアシスタントは、10K や 10Q などの SEC 提出書類、収益報告、業界誌、国際ニュース、地域ニュース、さらにはファッションなどの非伝統的なデータセットを含む 150,000 のソースから数百万のドキュメントを一夜にして処理します。結局のところ、Shein のような企業の株式公開について話している場合、Vogue の記事が関連する投資情報になる可能性があります。Boosted Insights は、このすべての情報を要約して、資産運用会社のクライアントが自分で整理できるインタラクティブなユーザー インターフェイスにまとめました。
Boosted.ai は、新しい生成 AI モデルを使用して、世界最大の資産運用会社 180 社以上を含むすべての顧客に重要な投資情報を提供するようになりました。これらのチームにとって、時は金なりです。何かが会社の株価に影響を与えるとき、その情報をどれだけ早く入手して行動するかが、数千ドル、場合によっては数百万ドルの違いを生む可能性があります。Boosted.ai はこれらのマネージャーに優位性を与えました。たとえば、Boosted Insights はインドのメディアの記事を読んでいたため、Apple が製造能力の一部をインドに移転していることを主要メディアで報道される前に警告しました。
Boosted Insights に生成 AI コンポーネントを追加することで、投資仮説を実際の取引に変える調査の多くを自動化できるようになりました。たとえば、投資家が中国との貿易戦争を懸念している場合、Boosted Insights に「どのような株を購入または売却すべきか」と尋ねることができます。生成 AI が導入される前は、この質問に答えるには 40 時間の調査プロセスが必要で、何百ページものアナリスト レポート、ニュース記事、収益概要を精査する必要がありました。AI 搭載のポートフォリオ管理アシスタントにより、その作業の 80% が自動化されました。
図1. Boosted Insightsは、生成AIに露出している株式のパフォーマンスをマップします
Boosted.ai の生成 AI の展開はクライアントから非常に好評でしたが、同社はこれを拡張して分析を最大 5 倍または 10 倍実行し、夜間のレポートから真のリアルタイム システムに移行したいと考えていました。しかし、問題がありました。AI を実行するには年間 100 万ドル近くの費用がかかり、GPU 容量を追加購入したくても、単純にそれができませんでした。AI 財務分析ツールをリアルタイム アプリケーションに拡張するには、GPU 容量が足りなかったのです。
Boosted.ai の課題は、LLM や生成 AI を導入している組織にとってますます一般的な課題になっています。LLM は汎用的に使用できるようにトレーニングされているため、これらのモデルをトレーニングする企業は、モデルを機能させるために多くの時間、テスト、費用を費やしています。モデルが大きくなるほど、リクエストごとに使用する高速コンピューティングが増えます。その結果、Boosted.ai を含むほとんどの組織では、特定のタスクに LLM を使用することは現実的ではありません。
Boosted.ai は、よりターゲットを絞ったコスト効率の高いアプローチを模索することにしました。それは、特定のタスクを実行するために、より小さな言語モデルを微調整することです。AI/ML の世界では、これらのモデルは「オープンソース」と呼ばれることがよくありますが、オープンソースコーディングの初期のころから想像されるように、ウィキを共有するランダムな人々によってハッキングされたものではありません。代わりに、Meta の Llama 2 などのオープンソース言語モデルは、数兆のデータポイントでトレーニングされ、Amazon Bedrock などの安全な環境で維持されます。違いは、オープンソースモデルでは、ユーザーがそのパラメータに完全にアクセスでき、特定のタスクに合わせてパラメータを微調整するオプションが与えられることです。対照的に、クローズドソースの LLM はブラックボックスであり、Boosted.ai が作成する必要のある種類のカスタマイズは許可されません。
モデルを微調整する能力は、Boosted.ai にとって大きな違いを生むことが証明されました。AWS パートナーネットワークを通じて、Boosted.ai は Invisible とつながりました。Invisible の AI トレーニング専門家のグローバルネットワークにより、Boosted.ai はコアの開発作業に集中することができ、Invisible は社内チームをプロジェクトに配置するよりも迅速かつコスト効率よく、高品質のデータ注釈を提供しました。AWS、Invisible、および Boosted.ai は協力して、ユースケースに対応できる可能な限り小さなモデルを見つけて実装し、業界標準の Massive Multitask Language Understanding (MMLU) データセットをベンチマークしてパフォーマンスを評価しました。
私たちの目標は、タスクに対して可能な限り高い IQ を持つ、可能な限り小さなモデルを作成することでした。私たちは MMLU に入り、Boosted.ai の取り組みに非常に関連していると思われるサブタスク (ミクロ経済学、マクロ経済学、数学、その他) を検討しました。私たちは、機能すると思われる最小のモデルを選択し、それをタスクに最適なものに調整しました。それが機能しない場合は、次のサイズのモデルと次のレベルのインテリジェンスに移行しました。 — Joshua Pantony、Boosted.ai 共同創設者兼 CEO
よりコンパクトで効率的なモデルが財務分析でも同等のパフォーマンスを発揮し、Boosted.ai はコストを 90% 削減しました。この効率化によって得られた大きなメリットは、取得するデータの量を大幅に増やすことができ、夜間の更新からほぼリアルタイムにまでなったことです。さらに重要なのは、スケーリングに必要な GPU を手に入れたことです。Boosted.ai はかつてモデルを実行するために A100 と H100 を必要としていましたが、このより効率的なドメイン固有の生成 AI により、より小型で入手しやすいハードウェアでレイヤーを実行できるようになりました。
図2. クローズドソースLLMの代わりにドメイン固有モデルを使用する利点
同じ有効性を持つ小規模モデルを微調整することで、Boosted.ai はさらに多くの分析を実行する計算能力を獲得しました。今では、データを一晩中処理するのではなく、1 分ごとに処理し、何かが起きてから Boosted Insights がそれを取得するまでの遅延がわずか 5 ～ 10 分であることを顧客に約束できます。
このモデルにより、Boosted.ai はデプロイ先とデプロイ方法に関してより多くの選択肢を得ることができました。Boosted.ai は LLM を使用して、ワークロードをクローズドソース クラウドに送り、結果を取得して保存していました。現在は、セキュリティを強化するために、AWS 上の別の顧客の仮想プライベート クラウド (VPC) 内にデプロイできます。
生成 AI 戦略を持つことは、2024 年の投資管理会社にとって基本的な期待事項となり、スマート エージェントを作成するために、社内データを当社の生成 AI に通したいという企業からの大きな需要が見込まれています。当然のことながら、独自のデータを活用するとプライバシーに関する懸念が生じます。多くのユーザーは、大規模なクローズド ソースの LLM よりも当社のモデルの方が安全だと感じています。当社のクライアントの 90% は AWS アカウントを所有しており、同じクラウドで実行することで、プライベート AWS クラウド内でデータを安全に保つことが非常に簡単になることが、当社が実感しているメリットです。
データを実行するプライベートデプロイメントへのアクセスを許可することは、すべてをゼロから構築するよりもはるかに簡単です。— Joshua Pantony
プライベート エンドポイントが提供する安心感により、より多くの顧客が独自のデータを共有して、よりカスタマイズされた洞察を作成しようとしています。たとえば、ヘッジ ファンドは、何百人もの CFO や経営アナリストとのインタビューにアクセスできる場合があります。そのデータセットは、パブリック API エンドポイントに送信するには価値があり機密性も高すぎます。Boosted.ai のドメイン固有のアプローチでは、その必要はありません。ワークロード全体が顧客のクラウド内で実行され、よりカスタマイズされた洞察が得られます。
Boosted.ai の微調整された小規模言語モデルが成長するにつれて、それが提供する洞察はより明確になり、より定量化されるようになります。たとえば、現在では、ウクライナ戦争のような出来事によってどの企業が影響を受けるかがわかります。将来的には、その影響を定量化し、「この会社の収益のちょうど 7% が影響を受け、その影響の確率は次のとおりです」と言うことができるようになります。
さらに、こうした洞察を得るのに必要なユーザー操作は少なくなります。自分の専門知識や知識をパーソナライズされた AI にアップロードし、膨大な情報データベースをスキャンして、独自のアイデアを提案してもらうことも可能になります。
AI は人類史上最も急速に導入されたテクノロジーであり、小規模な組織にとっては、今日の最先端のユースケースが数年のうちに当たり前のものとなる可能性が高いです。
私たちは、このテクノロジーの可能性を知らず、最適とは言えない方法でそれを導入している大企業が多い、歴史上非常にユニークな時代に生きています。あちこちでチャットボットが大量に登場しています。今日、スタートアップ企業であれば、顧客と会って彼らの問題を学び、生成型 AI の可能性を認識してください。そうすれば、独自の付加価値を見つけられる可能性が非常に高くなります。
製品と市場の適合性がある程度確立されたと確信できたら、LLM と比較して、速度、精度、データ感度の面で小規模なモデルを微調整することを検討します。これらのいずれかがユースケースにとって重要だと思われる場合は、ドメイン固有のモデルを使用する価値があるでしょう。— Joshua Pantony
さらに、このプロジェクトと記事に貢献してくれた Invisible にも感謝します。Invisible は、AI と自動化を熟練した人間の労働力とシームレスに融合し、戦略実行のボトルネックを解消する運用イノベーション企業です。
ライアンはカナダのトロント在住の AWS のソリューション アーキテクトです。彼はスタートアップ企業に技術アドバイスを提供し、新興技術を使用して革新的な製品を構築できるようにしています。ライアンは、サーバーのラックへの設置やネットワーク アプライアンスの構成から、クラウド サービスを使用した Web アプリケーションのインフラストラクチャの構築まで、15 年以上の経験があります。ライアンは、人々の生活を簡素化するためにテクノロジーをクリエイティブな方法でどのように使用できるかを学ぶことを楽しんでいます。
Deepam Mishra は AWS のスタートアップ担当シニアアドバイザーで、ML、Generative AI、AI の安全性と責任についてスタートアップにアドバイスしています。AWS に入社する前は、Microsoft Corporation で AI 事業を共同設立し、主導していました。Deepam は連続起業家および投資家であり、セキュリティ、エンタープライズソフトウェア、ヘルスケアなどの分野で 4 つの AI/ML スタートアップを設立しています。Wipro Technologies で新規ベンチャー担当副社長を務め、スタートアップインキュベーター兼シードファンドである Venture Studio を共同設立しました。SightLogix、EyeIC、Green-Power-Systems、Shippr など、複数の成功したスタートアップを設立しています。Deepam は、インド工科大学カンプール校で電気工学の学士号、テキサス A&M 大学で電気工学の修士号、ウォートン校で経営学修士号を取得しています。米国特許を 5 件取得しており、多数の出版物を出版しています。シリコンバレーに拠点を置いています。
ジョシュは、機関投資家や資産管理者に高度な ML ツールを提供する AI 企業である Boosted.ai の共同創設者兼 CEO です。2017 年に Boosted.ai を設立して以来、同社は何百もの投資マネージャーがポートフォリオに機械学習を実装するのを支援してきました。Boosted.ai を設立する前、ジョシュは 4 年間ブルームバーグで主席 ML エンジニアを務めていました。ブルームバーグでは、ランキング、推奨、質疑応答、クラウド ソーシング、ナレッジ グラフなど、数多くの重要な ML イニシアチブの立ち上げと構築に貢献しました。また、会社全体の数多くのイニシアチブのコンサルタントを務め、いくつかの ML チームの構築にも貢献しました。ウォータールー大学の学生として、ジョシュは最初の会社であるディープラーニング自然言語処理会社である Maluuba を共同設立しました。Maluuba では、最も初期のプロトタイプを構築し、ML チーム全体を採用し、4 人から 30 人の会社までの一般的な技術開発を監督しました。彼は 8 件の特許を保有しており、そのすべてが Maluuba のコア IP です。 Maluuba は後に Microsoft に買収されました。
Boosted.ai のジェネレーティブ AI ポートフォリオ マネージャーが AWS を利用してほぼ瞬時に財務分析情報を提供 | AWS Startups ブログ
ByManagetech
5月 8, 2024