AWS の大規模な言語モデル ホスティング サービスに最初にサインアップした 2 つの企業は、生成 AI アプリ開発において同様の利点と欠点に直面しました。
トロントを拠点とする顧客調査プラットフォームプロバイダーの Alida と、ニューヨーク州メルビルのサービスプロバイダーとしてのコンタクトセンターの Verint Systems は、Amazon Bedrock が 2023 年 4 月に初めてプレビュー版としてリリースされたときから、このサービスを使い始めました。このサービスを使い始めて 1 年が経ち、両社の IT プロフェッショナルは、API 経由で生成 AI アプリケーションを開発することが、大規模言語モデル (LLM) インフラストラクチャを社内でホストする代わりになる魅力的な選択肢であることに気付きました。
大手 3 社のクラウド プロバイダーの中で、Microsoft は 2022 年に GitHub Copilot コーディング アシスタントを使用して、企業向けの生成 AI サービスを最初に展開しました。Microsoft の Azure と Google Cloud も現在、LLM を評価し、生成 AI アプリケーションを構築するためのモデル ガーデンと開発者ツールを提供しています。
しかし昨年、Amazon は Bedrock で AI インフラストラクチャのより深い層にいち早く参入しました。このサービスは、Meta の Llama 2 を含む幅広い LLM の選択肢を提供する最初のサービスでした。また、Bedrock には最初から、企業にとって魅力的なきめ細かなデータ プライバシーとセキュリティのオプションも組み込まれていました。
2023 年 3 月にリリースされた OpenAI の ChatGPT API では、エンタープライズ ユーザーは自分のデータをモデルのトレーニングに使用しないように選択できましたが、Amazon Bedrock では、どのデータセットを使用するかを制御しながら、ユーザーがカスタマイズ可能な基本モデルのインスタンスをプライベートにトレーニングできます。そのデータは転送中も保存中も暗号化され、Bedrock は ID ベースのアクセス制御と Amazon CloudWatch 監査ログもサポートしています。
当時、これらの機能が Amazon Bedrock をユニークなものにしていたと、Alida のチーフアーキテクトである Sherwin Chu 氏は語った。
「AWS に連絡を取った主な動機は、基本的に、GDPR、セキュリティ、プライバシー、データ主権の要件に関して顧客に提供しているものと互換性のあるソリューションを手に入れるためでした」とチュー氏は語った。「この件では OpenAI と苦戦しました。彼らは LLM 分野の先駆者であり、最も信頼性の高いサービスを提供していたにもかかわらず、当社の GDPR 要件をまったく満たすことができませんでした。」
しかし、生成 AI アプリの開発は、クラウド コストの管理から、テクノロジーが成熟するにつれて迅速なエンジニアリングを実現するための学習曲線の考慮まで、早期導入企業にとって大きな課題がないわけではありませんでした。
「製品管理の面で私たちが本当に強調しようとしたことの 1 つは、不正行為をどのように制御するかを最初から考慮に入れることです」と Verint の主任科学者である Ian Beaver 氏は言います。「特定の LLM が何らかのベンチマークでどれほど優れたパフォーマンスを発揮したとしても、40 分間の通話記録などのデータを入力し始めると、そのモデルが何を認識してそれを処理するかは誰にもわかりません。」
Alida にとって、Amazon Bedrock はコンプライアンスとセキュリティのニーズを満たし、LLM やそのトレーニング インフラストラクチャをホストする必要がなく、それが生成 AI をアプリケーションに組み込む唯一の手頃な方法だったと Chu 氏は言います。
Anthropic の Claude や AI21 Labs の Jurassic などの大規模な LLM では、月額 2,000 ～ 4,000 ドルかかる GPU ベースのサーバーが必要です。これらのモデルを本番環境でホストするには、Alida ではこれらのマシンの 5 つの個別のマルチサーバー クラスターが必要になります。
Bedrock は、API エンドポイントを呼び出すというよく知られたプロセスを使用しているため、技術的な観点から見ても、同社の既存のアプリケーション開発プロセスに簡単に組み込むことができました。Alida は、自然言語処理用の Amazon Comprehend や IBM Watson など、他のホスト型機械学習サービスと連携するために同様の設定を使用しています。
チュー氏によると、Amazon Bedrock LLM は、生成 AI と他の種類の AI および機械学習に対する従量課金制 API 呼び出しの制限が異なるため、Alida に独自の DevOps パイプライン インフラストラクチャを備えているという。
「1分あたりのトークン数と1分あたりのリクエスト数の制約があります。パイプラインにロジックを記述して、パイプラインがそれらを認識できるようにする必要があります」と彼は言いました。「そのため、たとえば、[開発者が]トークン制限に達した場合、分析のために送信しているデータを控える必要があるか、後で再試行するように指示するエラーが表示される可能性があります。…特定のAPI呼び出しでLLMに渡すことができるコンテンツには限りがあります。」
Alida の Amazon Bedrock パイプラインは、Amazon SQS や CloudWatch などの AWS サービスに基づくイベント駆動型アーキテクチャを使用して構築されており、LLM へのデータの流れを管理し、コストを監視していると Chu 氏は言います。Chu 氏のエンジニアリング チームは、社内のより多くの開発者がサービスにアクセスできるように、Bedrock API 呼び出しをバッチ ジョブにグループ化する方法も検討しています。
「LLM の利用を民主化できる方法を模索しています」とチュー氏は言う。「AWS にレート制限を上げるよう依頼することはいつでもできますが、それには法外な費用がかかる可能性があります。」
AWS クラウド サービスの顧客であり、AWS マーケットプレイスでコンタクト センターのサービスとしてのプラットフォームを提供するパートナーでもある Verint にとって、生成 AI の活用は目新しいものではありません。Beaver 氏によると、同社は約 3 年前から社内で生成 AI を使用しており、主要なクラウド プロバイダーのサービスも対象に拡大しているとのこと。
ビーバー氏は、グローバル企業であるベリントが主要なクラウド プロバイダーの LLM サービスすべてと連携する必要がある理由の 1 つは、地域によってサービスの提供状況が異なるためだと述べています。また、言語によって結果の品質が異なる LLM もあるため、多くの LLM と連携する必要があります。
そこで、Verint は Amazon Bedrock を初めて利用しました。昨年のリリース前に、Verint の R&D チームが Da Vinci AI 製品で使用する前にパフォーマンスを評価し、モデル間の結果を比較する手段として、サービスのテストを開始しました。
同社にはAIとMLの活用経験があるものの、LLMの使用にはまったく新しいコストの考慮が伴うとビーバー氏は述べた。
「コストは大きく異なります。今日でも、一部の製品マネージャーは値段に驚いています」と彼は語った。「彼らは『この製品のアイデアがあります。これは変革をもたらすと思います』と言いますが、振り返ってみると、彼らがやりたいことはGPT-4を1日1000万回呼び出すことであり、それは数百万ドルの費用がかかることがわかります。そうなると、彼らはその使用例を再考する必要があります。」
ビーバー氏は、こうした種類のコスト交渉は機械学習ではそれほど一般的ではないと述べた。
「誰もが [生成 AI の] 機能に注目していますが、それは素晴らしいことです。しかし、それをコストとバランスさせ、その上でどのように利益を上げて販売するかを考えなければなりません」と同氏は語った。「価格設定の多くはトークンに基づいています。製品マネージャーはトークンが何であるかさえわかっていません。ましてや、これらの計算方法などわかりません。… コスト効率を上げる方法がわからなかったために、実際に中止したプロジェクトがいくつかあります。」
また、社内またはクラウドの LLM に展開する際にコストを考慮して即座に選択を行うのも、Verint のプラットフォーム エンジニアリング チームの役割です。
「当社の MLOps プラットフォームのおかげで、API の背後に製品 [チーム] から完全に隠されており、コストのトリアージを行って、『Anthropic が Claude 3 の価格を 40% 引き下げたぞ。このスイッチをオンにして、たとえばアメリカ大陸地域にトラフィックをルーティングしよう』と言うことができます。すると突然、この製品のマージンが 30% 程度改善されました。これは当社にとって大きな成果です。」
LLM と他の種類の AI のもう 1 つの重要な違いは、LLM では不正確な結果 (幻覚と呼ばれることもある) が出る可能性が高くなることです。チュー氏とビーバー氏は、質の高い結果を生成するには慎重かつ迅速なエンジニアリングが必要であり、多くの場合、複数回の改良が必要になると述べています。
「製品に生成モデルを採用する場合は常に、何らかの形で人間が関与する側面が必要です。つまり、UI レベルで何らかの方法で [生成モデル] を制御し、誤った動作を報告したり修正したりできる必要があります」と Beaver 氏は言います。「もう 1 つは、ユーザーがすべてを盲目的な真実として受け止めないように、適切な期待を設定することです。」
ベリントは、エンドユーザーが自社製品のユーザーインターフェースでLLM出力に関する詳細なフィードバックを提供できる手段を構築することで、プロンプトやモデルトレーニングの改善に役立つデータを収集できるとビーバー氏は述べた。
これまで、Verint ではデータ サイエンティストがそのようなタスクを処理し、それに応じて機械学習モデルを再トレーニングしていましたが、LLM プロンプトを改良するには、同社のソフトウェアのエンド ユーザーから同社のカスタマー サポート エージェントやソフトウェア エンジニアまで、組織全体の参加が必要です。これは、同社が LLM のカスタマイズに関連するクラウド コストを回避したいためでもあると Beaver 氏は述べています。
「トレーニング費用を支払うだけでなく、AWS や Azure などのプラットフォーム プロバイダーのほとんどは、カスタム モデルのホスティングに対して追加料金を請求します」と、同氏は言います。「ベース モデルで済ませて、それを操作して迅速な [エンジニアリング] で動作させることができれば、カスタム モデルをホスティングしないことで、多くの費用を節約できます。」
トレーニングも重要な取り組みです。プロンプティング エンジニアリングは生成 AI アプリケーションのサポート プロセス全体にわたって必要となるため、複数のチームがプロンプティングを学習する必要があり、会社の 1 つのチームで処理するには大きすぎる仕事になるとビーバー氏は言います。
「生成型 AI の登場で本当に変化しているもう 1 つの点は、この種の作業を行うための専門サービスおよびサポート チームのトレーニングです」と同氏は言います。「研究組織とデータ サイエンティストを集めて、大規模な顧客サポートの問題をすべて処理させるのはスケーラブルではないからです。」
アリダは、開発者が迅速なエンジニアリングを学べるよう、AWS が提供するハッカソンやトレーニング サービスに注目してきたとチュー氏は語った。
「LLM に、希望する形式で出力を生成させ、入力を処理させるには、適切なプロンプトを書く技術が必要です」と同氏は言う。「試行錯誤が大量に行われ、私たちの開発努力の大部分はそこに注がれてきたと言えます。」
例えば、アマゾンの専門家はプロンプトエンジニアリングに関するワークショップで、特定の単語を大文字にするなどプロンプトを微妙に調整するだけでも LLM からの出力が変わる可能性があることを Alida の Bedrock チームに教えたとチュー氏は語った。
Alida の Bedrock チームの最近のハッカソンで、エンジニアは LLM を使用して顧客体験アンケートを生成する実験を行い、アンケートの生成にはネストされた JSON ドキュメントのレイヤーが必要であるにもかかわらず、そのアプリケーションに大きな可能性を感じたと Chu 氏は述べています。
「私たちは LLM にトップレベルノードのスキーマを与え、次に子ノードを挿入できる一種のプレースホルダーを与えました。そして、そのテンプレートを使用して完全に構造化された JSON ドキュメントを生成することができました」と彼は言いました。
これは、適切に指示されれば、LLM が複雑なタスクや多段階のワークフローを処理できる可能性を示唆していると Chu 氏は言います。
「生成型AIの可能性は大きく、素晴らしい」と同氏は言う。「現在も私たちが取り組んでいる課題は、一貫性の欠如だ」
ベリントでは、生成型 AI がすでにプロフェッショナル サービス チームやカスタマー サービス チーム、そしてソフトウェア エンジニアの仕事の性質を変えつつあるとビーバー氏は述べました。特に、顧客が特定の業界、クライアント、言語に合わせて LLM にさらなるカスタマイズを求め始めているためです。
「私たちが対処しなければならないもう 1 つの新しいことは、これらすべてのプロンプトを大規模に管理することです」と Beaver 氏は言います。「プロンプトの管理と、プロンプトをバージョン管理、アクセス制御、ゲートリリースを備えたソースコードとして扱うことは、基本的にそれ自体が製品になっています。」
TechTarget Editorial のシニア ニュース ライターである Beth Pariseau は、DevOps を扱う IT ジャーナリズムの受賞歴のあるベテランです。ヒントをお持ちですか? 彼女にメールするか、@PariseauTT までご連絡ください。
クラウド ファースト戦略を採用するには、コスト効率と最適なパフォーマンスを確保するために慎重な検討が必要です。…
AWS 開発者が CloudFormation テンプレートを構築したり、スタックを起動したり、更新をロールバックしたりすると、エラーが発生する可能性があります。エラーを防止し、…
CASB ツールは、クラウド アプリケーションを保護し、許可されたユーザーのみがアクセスできるようにします。急速に進化するこのツールについて詳しくご覧ください…
ドメイン駆動設計は、組織が主要なビジネス ニーズに重点を置いたソフトウェアを開発するのに役立ちます。ただし、そのためには、アーキテクトは次のことを行う必要があります…
多くの開発者が関数型プログラミング モデルの採用を検討していますが、まずは正確に理解することが重要です…
この SOLID 入門では、この開発イデオロギーが体現する 5 つの原則、それらが推奨する実践などについて検討します。
Buoyant の CEO ウィリアム・モーガン氏は、プロジェクトの実現可能性と長期的な資金が Linkerd の最近の変更の基盤となっており、その他の問題は… と述べた。
オープンソース ソフトウェアはコモンズの悲劇となるのでしょうか? シニア ニュース ライターの Beth Pariseau と Sentry の Chad Whitacre が取り上げます…
IBM は HashiCorp を 65 億ドルで買収する予定であり、Red Hat と同じ傘下に入ることで状況が変化するのではないかという憶測が広がっている。
ブロックチェーンと分散型台帳は似ていますが、完全に同義ではありません。その違いと使用方法を学びましょう。
本当に仕事を辞める準備ができているかどうかわからない場合は、新しい役職に移るかどうかを決める際に役立つヒントや質問を検討してください。
Python でのデータ転送とメモリ転送には、隠れたパフォーマンス負荷が伴います。NumPy を使用してパフォーマンスを最適化する方法は次のとおりです…
多くの組織は、膨大な数の AWS アカウントの管理に苦労していますが、Control Tower が役立ちます。このサービスは、…
Amazon EKS の価格モデルには、いくつかの重要な変数があります。数字を詳しく調べて、サービスを確実にデプロイしてください…
AWS ユーザーは、Kubernetes をデプロイする際に、EC2 上で自分で実行するか、Amazon に EKS を使って面倒な作業を任せるかという選択に直面します。詳しくは …
