この投稿は、Verisk の Tom Famularo、Abhay Shah、Nicolette Kontor と共同執筆されました。
Verisk (Nasdaq: VRSK) は、世界の保険業界における大手データ分析およびテクノロジー パートナーです。20 か国以上で高度な分析、ソフトウェア、調査、業界の専門知識を活用し、Verisk は個人、コミュニティ、企業の回復力の構築を支援しています。同社は、人間による監視と透明性を備えた、倫理的で責任ある AI 開発に取り組んでいます。Verisk は、倫理的な AI 原則を遵守しながら、生成型人工知能 (AI) を使用して保険クライアントの業務効率と収益性を高めています。
Verisk の FAST プラットフォームは、生命保険および退職年金セクターのリーダーであり、効率性の向上と、柔軟で簡単にアップグレードできるアーキテクチャを提供しています。FAST は、Verisk のデータ、分析、請求ツールとのシームレスな統合により、2024 ISG プロバイダー レンズ レポートで 4 年連続のリーダーにランクされました。このソフトウェア アズ ア サービス (SaaS) プラットフォームは、生命保険、年金、従業員福利厚生、機関年金プロバイダー向けのすぐに使用できるソリューションを提供します。事前構成されたコンポーネントとプラットフォームの構成可能性を備えた FAST により、保険会社は製品の市場投入までの時間を 75% 短縮し、わずか 2 か月で新製品を開始できます。
この記事では、生成 AI、データ、アーキテクチャ、結果の評価を組み込んだ FAST でのカスタマー サポート プロセスの開発について説明します。会話型 AI アシスタントは、顧客と従業員のサポートを急速に変革しています。Verisk はこのテクノロジーを採用し、FAST プラットフォームに強化されたセルフサービス機能を提供する独自の Instant Insight Engine (AI コンパニオン) を開発しました。
Verisk FAST が最初に AI の使用に踏み切ったのは、プラットフォームの広範さと複雑さが理由でした。毎年、顧客サポートに何十万時間も費やしていた同社にとって、取り組みを拡大し目標を達成するには支援が必要であることは明らかでした。Verisk の優秀なチームは、一般的な問い合わせへの対応で手一杯で、保険テクノロジー プロバイダーとしてトップの座を維持できるようなイノベーションに割ける時間が少なくなっていました。
Verisk FAST の AI コンパニオンは、FAST に関連するビジネス処理や設定に関する質問に 24 時間 365 日サポートするだけでなく、膨大なナレッジベースを活用して詳細かつカスタマイズされた回答を提供することで、この負担を軽減することを目指しています。これは、FAST プラットフォームに深く統合され、Verisk のすべてのドキュメント、トレーニング資料、および集合的な専門知識を使用するように設計されています。これは、検索拡張生成 (RAG) アプローチと AWS サービスと独自の設定の組み合わせに依存しており、Verisk FAST プラットフォームの広範な機能に関するほとんどのユーザーからの質問に即座に回答します。
AI コンパニオンが大規模に展開されると、Verisk のスタッフは、より優れた顧客体験を提供しながら、複雑な問題、重要な取り組み、イノベーションにより多くの時間を割くことができるようになります。構築の一環として、Verisk は、生成 AI の可能性を活用する第一歩を踏み出そうとしている企業にとって共有する価値のあるいくつかの考慮事項、重要な発見、決定事項に遭遇しました。
大規模言語モデル (LLM) を備えた対話型エージェントを構築する場合、RAG と微調整という 2 つの手法が使用されることがよくあります。これらのアプローチの選択は、ユースケースと利用可能なデータセットによって異なります。Verisk FAST は、AI コンパニオン用の RAG パイプラインの構築を開始し、このソリューションを反復的に強化してきました。以下は、RAG アーキテクチャを継続することが Verisk にとって理にかなっている理由の一部です。
RAG と微調整にはどちらもトレードオフがありますが、リアルタイムの精度、説明可能性、構成可能性の要件を考慮すると、RAG は FAST プラットフォーム上に AI コンパニオンを構築するのに最適なアプローチでした。パイプライン アーキテクチャにより、Verisk FAST のユースケースの進化に合わせて反復的な拡張が可能になります。
次の図は、ソリューションの構築に使用された AWS サービスのいくつかを強調した高レベルのアーキテクチャデータフローを示しています。Verisk のソリューションは、複数の相互作用するコンポーネントを含み、ユーザーに応答を提供するために LLM を何度も呼び出す複合 AI システムを表しています。これらの多様なコンポーネントをオーケストレーションするために FAST プラットフォームを使用することは直感的な選択であることが証明され、LangChain などの代替フレームワークで発生する特定の課題を回避できました。
主なコンポーネントは次のとおりです。
セキュリティを強化するために、Verisk はユーザーの質問内での個人を特定できる情報 (PII) の送信をブロックすることを目指しました。通常、AI コンパニオンとのやり取りに PII は必要ありませんが、Verisk は Amazon Comprehend を使用して、クエリ内の潜在的な PII を検出しました。
効果的な RAG ソリューションを設計する上で、最も重要なステップの 1 つは、エンタープライズ ドキュメントからのコンテキスト取得です。埋め込みを保存するオプションは多数ありますが、Verisk FAST は、すぐに使用できる強力なセマンティック検索機能があるため、Amazon Kendra を使用することを選択しました。フルマネージド サービスである Verisk は、追加のプロビジョニングなしでディープラーニング検索モデルを活用しました。Verisk は、Amazon OpenSearch Serverless といくつかの埋め込みアプローチ、および Amazon Kendra の使用を比較し、Amazon Kendra の方が優れた取得結果を示しました。投稿の後半で説明するように、Verisk は Retrieve API と Query API を組み込んで、クエリに意味的に関連する文章を取得し、LLM による生成をさらに改善しました。
Amazon Bedrock で利用可能な Anthropic Claude は、Verisk のソリューション内でさまざまな役割を果たしました。
テキストやプロセスフロー図を含む画像の処理に主に使用されている Amazon Rekognition の事前トレーニング済み機能により、情報の抽出が容易になりました。抽出されたデータはその後、Claude に渡され、Amazon Kendra 内でのインデックス作成に適したより自然な言語形式に変換されました。
Amazon Rekognition と同様に、Amazon Transcribe はビデオの前処理とトランスクリプトの生成に使用されました。注目すべき機能は機密情報のマスキングです。詳細なトランスクリプトは、タイムスタンプとともに Claude を使用して圧縮され、その後 Amazon Kendra にインデックス付けされました。
ソリューションの中心となるのは、質問の分類に基づいてプロンプトを作成するためのテンプレートの動的な選択です。これらのプロンプト テンプレートの開発と継続的な改善には多大な労力が費やされました。
Verisk は、その取り組み全体を通じて、AWS ソリューションチームと緊密に連携し、全体的なソリューションを強化するための具体的な提案をブレインストーミングしました。
Verisk は、プラットフォームで何かを構築する前に、最初は質問と回答の形で数週間かけて情報を収集しました。Verisk FAST の最初のデータセットは 10,000 件の質問とそれに対応する回答で構成され、正確性と関連性を確認するために綿密に収集され、精査されました。しかし、これは一度きりの取り組みではないことは理解していました。Verisk は、ビジネス全体で新しいデータ ソースを特定することで、ナレッジ ベースを継続的に拡張する必要がありました。
これを受けて、Verisk は 15,000 以上の質問を丹念に追加し、あまり頻繁に遭遇しないシナリオを確実にカバーするようにしました。また、Verisk はユーザー ガイド、技術文書、その他のテキストベースの情報も追加しました。このデータは、ビジネス処理から構成、配信方法まで、複数のカテゴリにまたがっています。これにより、AI コンパニオンの知識と多様なユーザー クエリの理解が深まり、より正確で洞察に富んだ回答を提供できるようになりました。
Verisk FAST チームは、追加のモダリティを調査する必要性も認識していました。ビデオや画像、特にプロセス フローや情報共有ビデオを説明するものは、貴重なデータ ソースであることがわかりました。最初のロールアウト フェーズで、特定の問い合わせには運用データ ストアからのリアルタイム データ取得が必要であることが明らかになりました。巧妙な迅速なエンジニアリングと、Claude の最新の API 呼び出し機能を使用することで、Verisk はシームレスにデータベースにアクセスし、リアルタイムの情報を取得しました。
AI コンパニオンのナレッジ ベースを開発する上で重要な要素は、データを適切に構造化し、効果的にクエリを実行して正確な回答を提供することでした。Verisk は、コンテンツの編成と最も関連性の高い情報を抽出する方法の両方を最適化するために、さまざまな手法を検討しました。
AI コンパニオンの基盤となる知識ベースと、そこから回答を抽出するためのクエリの両方を徹底的に実験し、最適化することで、Verisk は概念実証中に非常に高い回答精度を達成し、さらなる開発への道を切り開くことができました。彼らが探求した多段階クエリ、関連性の調整、データの拡充といった手法は、質の高い自動回答を抽出するためのアプローチの中核要素となりました。
プロンプトの構造、長さ、温度、ロールプレイング、コンテキストを実験することが、AI コンパニオンの Claude による応答の品質と精度を向上させる鍵でした。Anthropic が提供したプロンプト設計ガイドラインは非常に役に立ちました。
Verisk は、Claude に明確なコンテキストを提供し、ユーザーの質問に答える役割を設定するプロンプトを作成しました。温度を 0.5 に設定することで、生成された応答のランダム性と繰り返しが軽減されました。
Verisk は、ソリューション全体の効率を向上させるために、さまざまなモデルも試しました。Sonnet や Haiku などの Claude 3 モデルは応答の生成に優れていますが、ソリューション全体の一部として、Verisk は必ずしも LLM を使ってテキストを生成する必要はありませんでした。ツールの識別が必要なシナリオでは、応答時間が速い Claude Instant の方が適したモデルでした。
Verisk FAST の AI コンパニオンとその有用性の重要な要素は、そのパフォーマンスと生成された応答の正確さを厳密に評価することです。
Amazon Generative AI Innovation Center と連携した概念実証の一環として、Verisk は AI コンパニオンの精度とパフォーマンスを評価するための 100 の質問を作成しました。このプロセスの中心となったのは、さまざまなトピックやシナリオを効果的に理解して応答するボットの能力を評価するために設計された質問を作成することでした。これらの質問は、さまざまなトピックとさまざまな難易度に及びました。Verisk は、AI コンパニオンがよくある質問に正確に回答し、微妙で予測しにくい、または単純な問い合わせを処理する能力を発揮できることを確認したいと考えていました。その結果、RAG の強みと改善点に関する貴重な洞察が得られ、Verisk の今後の取り組みの指針となり、RAG の機能をさらに洗練して強化することができました。
Verisk が AI コンパニオンをプラットフォームに統合し、実際のシナリオでテストを開始した後、精度は約 40% でした。しかし、データ収集作業のおかげで、数か月以内に精度は 70% 以上に急速に向上し、精度は毎日着実に向上し続けています。
AI コンパニオンの精度向上に貢献しているのは、Verisk の評価ヒート マップです。これは、Verisk FAST プラットフォームの機能を包括的に網羅する 20 のトピックにわたって利用可能なドキュメントを視覚的に表現します。これは、各特定のトピック セグメント内の問い合わせの量と、各セグメントで生成された応答の健全性と比較されます。
この視覚化されたデータにより、Verisk FAST チームはギャップを簡単に特定できます。ユーザーの質問が最も集中している部分に対して、AI コンパニオンが現在どの機能に苦労しているかをすぐに確認できます。その後、Verisk チームは、追加のドキュメント、トレーニング データ、調査資料、テストを通じて、これらの領域に関する知識の拡大を優先できます。
Verisk は当初、実際のパフォーマンスと影響を実証するために、1 社のベータ版顧客に AI コンパニオンを展開しました。このような顧客サポートは、Verisk がこれまで顧客と関わり、サポートしてきた方法とはまったく対照的です。Verisk ではこれまで、顧客と直接やり取りするチームを通常割り当てていました。今では、提出内容を確認して応答を調整するのに必要な時間は、通常人が費やす時間のほんの一部にすぎません。Verisk FAST の AI コンパニオンは、高品質のサポートを提供しながら、コスト効率よく拡張するのに役立っています。
この初期の使用状況データを分析することで、Verisk は顧客にビジネス価値をもたらすことができる新たな領域を発見しました。追加情報を収集するにつれて、このデータは結果を改善し、より広範な展開に備えるために何が必要かを明らかにするのに役立ちます。
進行中の開発では、収集された質問に基づいて優先順位が付けられたこれらの機能の拡張に重点が置かれます。しかし、最もエキサイティングなのは、生成 AI によって実現される新たな可能性です。Verisk はこのテクノロジーが急速に進歩していることを認識しており、イノベーションを活用して顧客にさらなる価値を提供したいと考えています。新しいモデルや手法が登場するにつれて、Verisk は AI コンパニオンを最新の機能に適応させる予定です。AI コンパニオンは現在、ユーザーの質問への対応に重点を置いていますが、これは出発点にすぎません。Verisk は、積極的に提案を行い、システム自体で直接機能を構成できるように、その機能を迅速に改善する予定です。Verisk FAST チームは、生成 AI で可能なことの限界を押し広げるという課題に刺激を受けており、可能性の限界をテストすることに興奮しています。
Verisk が自社の FAST プラットフォーム向け AI コンパニオンを開発する過程は、生成 AI がカスタマー サポートを変革し、業務効率を高める大きな可能性を秘めていることを示しています。Verisk は、データを慎重に収集、構造化、取得し、大規模な言語モデル、セマンティック検索機能、厳格な評価プロセスを活用することで、ユーザーからの問い合わせに正確かつリアルタイムで応答する堅牢なソリューションを生み出しました。倫理的で責任ある AI 開発手法を遵守しながら AI コンパニオンの機能を拡張し続けることで、Verisk は顧客にとってより大きな価値を実現し、スタッフがイノベーションに集中できるようにし、保険業界のカスタマー サポートの新しい基準を確立する態勢を整えています。
詳細については、次のリソースを参照してください。
Tom Famularo は、FAST の共同設立者兼 CEO であり、ニュージャージー州に拠点を置く Verisk Life Solutions のリーダーです。Tom は、プラットフォーム戦略、データ/分析、AI、および Verisk の生命保険/年金顧客を担当しています。彼の焦点と情熱は、顧客とチーム メンバーに、テクノロジーを活用して、はるかに少ない労力でビジネス成果を上げる方法を教えることにあります。仕事以外では、息子の野球チームとフットボール チームの熱烈なファンです。
Abhay Shah は、Verisk – Life Solutions の FAST プラットフォームのエンジニアリング作業を率いており、アーキテクチャに関するガイダンスを提供し、顧客実装と製品開発の技術的リーダーシップを発揮しています。テクノロジー分野で 20 年以上の経験を持つ Abhay は、保険会社が最新のテクノロジーを通じてエコシステムの価値を最大化できるよう支援しており、AI がもたらす機会に興奮しています。職業上の情熱以外にも、読書、旅行、中学校のロボット チームの指導を楽しんでいます。
Nicolette Kontor は、デジタル変革を顧客に取り入れてもらうことにやりがいを感じるテクノロジー愛好家です。現在は Verisk – Life Solutions で、人工知能を FAST プラットフォームに適用する取り組みを先導しており、非常にやりがいがあり刺激的な仕事だと感じています。大手顧客への実装と製品開発で 10 年以上の経験を持つ Nicolette は、保険会社に価値をもたらす革新的なソリューションを提供することに注力しています。仕事以外では、Nicolette は旅行好きで、これまでに 39 か国を訪れています。クイズ大会に出場したり、ミステリー小説を読んだり、新しい言語を学んだりするのが好きです。
Ryan Doty は、ニューヨークを拠点とする AWS のシニア ソリューション アーキテクトです。革新的でスケーラブルなソリューションを設計するためのアーキテクチャ ガイドラインを提供することで、米国北東部のエンタープライズ カスタマーが AWS クラウドを迅速に導入できるよう支援しています。ソフトウェア開発とセールス エンジニアリングのバックグラウンドを持つ彼は、クラウドが世界にもたらす可能性に興奮しています。
Tarik Makota は、Amazon Web Services のシニア プリンシパル ソリューション アーキテクトです。米国北東部の AWS の顧客に対して、技術指導、設計アドバイス、思想的リーダーシップを提供しています。彼は、ロチェスター工科大学でソフトウェア開発および管理の修士号を取得しています。
Dom Bavaro は金融サービスのシニア ソリューション アーキテクトです。さまざまなユースケースで顧客に技術指導を提供しながら、Generative AI ソリューションとワークフローの構築と実用化を顧客に支援することに重点を置いています。
生成 AI のパワーを解き放つ: 顧客サポートを強化するための Verisk の Instant Insight Engine への道のり | AWS Machine Learning ブログ
ByManagetech
5月 10, 2024