PKSHA、マイクロソフトジャパンと共同で先進的な大規模言語モデルを開発
この新しいLLMは、迅速な通信機能を備え、従来のLLMよりも3倍速く回答を生成し、コンタクトセンターや企業のヘルプデスクを対象としています。
PKSHA Technology株式会社（TOKYO:3993）は、日本マイクロソフト株式会社と共同で、Retentive Network（RetNet）（※1）を用いた世界初の日英大規模言語モデル（LLM）を開発しました。PKSHAは、このLLM開発を通じて、コンタクトセンターや企業のヘルプデスクにおける生産性向上を中心に、ビジネスの世界における生成AIの実用性をさらに高めていきます。実際のビジネス環境での運用は、2024年4月より段階的に開始します。
PKSHAのLLMの概要: 「RetNet」を使用した初の日英LLM
PKSHA は、Azure の AI インフラストラクチャと日本マイクロソフトの技術支援を活用して、以下の機能を備えた新しい LLM を開発しました。
本モデルは、広く普及しているTransformerの後継として期待されるRetNetを採用した世界初(*2)の日英LLMです。Microsoft Research Asiaが開発したRetNetは学習速度が速く、従来モデルの精度を維持または上回りながら、長文入力時の推論速度とメモリ効率に優れています。メモリ効率に優れているため、従来モデルよりも少ないGPU(*3)でモデルを動作させることができ、コスト効率に優れています。このアーキテクチャにより、当社の日英LLMは長文理解の効率と優れた応答速度を両立しています。
コンタクトセンターや企業のヘルプデスク業務に導入する際に、出力精度と運用コストのバランスがとれたサイズである 7B パラメータ モデルです。
例えば、新聞2ページ分の文章を入力すると（※4）、従来モデルに比べ、精度を落とさずに約3倍の速さで応答を出力できます。入力情報量に比例して効率が向上します。
LLMは、マイクロソフトリサーチが開発したディープラーニングフレームワーク「DeepSpeed（※5）」を利用して開発されました。マイクロソフトは、高度な並列・分散処理能力というDeepSpeedの強みを活かすため、RetNetモデリングの専門知識と、AIワークロード向けに最適化されたAzureの専用AIインフラストラクチャ仮想マシンを提供しました。RetNetとDeepSpeedにより、プロトタイプモデルで効率的なトレーニングと早期の性能検証を実現することができました。
即時回答のメリットは、コンタクトセンターと企業のヘルプデスクの運用を変革します。
PKSHAは2012年に設立され、コミュニケーション分野を中心に自然言語処理（NLP）の研究開発とAIの社会実装に注力してきました。コンタクトセンターや企業のヘルプデスクを中心に6,000件以上のAI実装実績を誇るPKSHAは、これらの分野でのさらなる展開を目指し、本LLMの活用を推進していきます。当社のモデルは、顧客の課題を実践的に理解した上で、ビジネス環境に実装されることを前提に開発されています。
この新しいLLMは、さらなる検証と改良を経て、今春以降、段階的に実際のビジネス環境に導入される予定です。PKSHAでは、このLLMを強力なビジネス資産と位置付け、PKSHAの他の技術と組み合わせて、人とソフトウェアのコラボレーションにより人々の能力が最大限に発揮される豊かな社会の実現を目指します。
日本マイクロソフト株式会社 常務執行役員 最高技術責任者 野崎弘道氏のコメント
「日本マイクロソフトは、PKSHA Technology Inc.による新たな大規模言語モデルの開発と、それがこうした重要な顧客サービス体験に適用されることを心より歓迎します。特に、RetNetとDeepSpeedを活用して日本語と英語のLLMを実現することで、PKSHAはコミュニケーションの即時性と正確性を向上させることができます」と、日本マイクロソフト株式会社 常務執行役員 最高技術責任者 野崎弘道は述べています。「日本マイクロソフトは、技術革新を通じてデジタルトランスフォーメーションを加速し、豊かな社会の実現に貢献することを目指しており、PKSHAの『人間とソフトウェアの共進化』というビジョンと、その実現に向けた革新的な取り組みを今後も支援してまいります。」
※1：RetNetはTransformerの後継として期待されている技術で、2024年3月時点でほぼ全てのLLMで採用されているTransformerと比較して、以下の特徴を持つモデルであると報告されています。 – Transformerと同等以上の言語性能 – 並列実行による高速学習 – 省メモリかつ低レイテンシな推論 詳細については、以下の研究論文をご覧ください：https://www.microsoft.com/en-us/research/publication/retentive-network-a-successor-to-transformer-for-large-language-models/
※2：機械学習モデルやその他のNLP関連ツールやリソースを提供するグローバルプラットフォーム「Hugging Face」で公開されたオープンソースモデルに関する当社独自の調査による。
※3：グラフィックス・プロセッシング・ユニット。高速並列処理を行う専用デバイスで、グラフィックス処理、科学技術計算、機械学習などの分野で広く利用されている。
※4：新聞1ページあたり約10,000文字と想定。
*5: DeepSpeed は、世界で最も強力な言語モデルを実現します。これは、トレーニングと推論の両方で前例のないスケールとスピードを実現する、使いやすいディープラーニング最適化ソフトウェア スイートです。 – スケール、効率、使いやすさで大規模モデル トレーニング環境を再構築 – スケール、レイテンシ、コストの観点から大規模モデル推論を最適化 – 圧縮により推論を高速化し、モデル サイズを縮小して効率とコストを節約 – DeepSpeed4Science: 科学の謎を解き明かす Microsoft の AI
詳細については、次のリンクをご覧ください：https://www.deepspeed.ai/
PKSHAテクノロジー株式会社飯島 加奈子 TEL: 080-2696-3796 Mail: pr@pkshatech.com
ソースバージョンはbusinesswire.comでご覧ください: https://www.businesswire.com/news/home/20240418370582/en/
透明性は、私たちが仕事の誠実さを守り、投資家が目標と夢を実現できるよう支援し続けるための方法です。また、私たちは、調査やデータからコンテンツや個人データに関するポリシーに至るまで、その誠実さをどのように維持するかについて揺るぎない基準を持っています。
私たちの仕事のやり方や日々のビジネスの原動力について、さらに詳しくお伝えしたいと思います。
当社は、投資のプロと個人投資家の両方に、さまざまな種類の商品とサービスを販売しています。これらの商品とサービスは通常、ライセンス契約またはサブスクリプションを通じて販売されます。当社の投資管理事業では、運用資産の割合として計算される資産ベースの手数料が発生します。また、投資カンファレンスの入場券とスポンサー パッケージ、および当社の Web サイトとニュースレターでの広告も販売しています。
当社がお客様の情報をどのように使用するかは、お客様が使用する製品やサービス、およびお客様と当社との関係によって異なります。当社は、お客様の情報を以下の目的で使用することがあります。
当社がお客様のデータをどのように取り扱い、保護しているかについて詳しくは、プライバシー センターをご覧ください。
独立性と編集の自由を維持することは、投資家の成功を支援するという当社の使命にとって不可欠です。当社は、執筆者が投資について公正かつ正確に、投資家の視点からレポートできるプラットフォームを提供しています。また、個人の意見も尊重します。個人の意見は、当社の社員の率直な考えと、当社の調査プロセスの厳密な分析を表しています。執筆者は、当社が同意するかどうかにかかわらず、意見を発表できますが、自分の研究内容を示し、事実と意見を区別し、分析が明確で、誤解を招くものや欺瞞的なものにならないようにします。
編集コンテンツの完全性をさらに保護するため、当社では営業チームと著者を厳密に分離し、分析や調査に対する圧力や影響を排除しています。
私たちのプロセスについて詳しく知るには、編集方針をお読みください。