マウントサイナイの新しい研究によると、コーディングの自動化を支援するために生成型人工知能を使用することには、いくつかの重大な制限があることが示唆されています。
この研究では、マウントサイナイのアイカーン医科大学が、医療における大規模言語モデルの潜在的な応用を評価し、診療報酬と研究目的で臨床テキストに基づいて医療コードの割り当てを自動化しました。
この研究では、OpenAI、Google、Meta の LLM を比較し、適切な医療コードを対応する公式テキストの説明に効果的に一致させることができるかどうかを評価しました。
GPT-3.5、GPT-4、Gemini Pro、Llama2-70b のパフォーマンスを評価しベンチマークするために、研究者らは、患者データを除いて、マウントサイナイ医療システムでの 12 か月間の日常診療から 27,000 件を超える固有の診断コードと手順コードを抽出しました。
「これまでの研究では、新しい大規模言語モデルは数値タスクに苦労することが示されている」と、アイカーン・マウント・サイナイ研究所のデータ駆動型およびデジタル医療生成AI研究プログラムのディレクターであり、この研究の上級共著者であるエヤル・クラン博士は先週の発表で説明した。
「しかし、臨床テキストから医療コードを割り当てる際の精度の程度は、さまざまなモデル間で徹底的に調査されていませんでした。」
研究者らは、利用可能な 4 つのモデルが定性的および定量的手法を通じて医療コードを効果的に一致させることができるかどうかを評価した結果、すべての LLM が固有の診断および処置コードを生成する際の精度が 50% 未満であると判断しました。
GPT-4 は、ICD-9-CM の完全一致率が 45.9%、ICD-10-CM が 33.9%、CPT コードが 49.8% と最も高く、調査で最高のパフォーマンスを示しましたが、「許容できないほど大きい」エラーが残りました。
研究者らは、GPT-4は最も誤って生成されたコードを生成したが、GPT-3.5は曖昧になる傾向が最も強く、正確なコードではなく一般的なコードを識別すると述べた。
先週ニューイングランド医学ジャーナルAI誌に掲載された研究結果を受けて、研究者らは、現実世界の医療コーディングにおけるLLMのパフォーマンスはより悪い結果をもたらす可能性があると警告した。
「LLMは、追加研究なしに医療コーディング業務に使用するのは適切ではない」と研究者らは報告書で述べている。
「AIは大きな可能性を秘めているが、医療における信頼性と有効性を確保するためには、慎重に取り組み、継続的な開発を進めていく必要がある」と、D3Mおよび医学の助教授であるアリ・ソロウシュ博士は声明で警告した。
マウントサイナイは、研究者らが正確な医療データの抽出と請求コードの割り当てのためにカスタマイズされた LLM ツールの開発を目指すと述べました。
マウントサイナイの研究結果にもかかわらず、AI 対応コーディングに価値を感じている人もおり、AI システムは医師グループが収益機会を逃さず、文書のコンプライアンスを向上させるのに役立つと述べています。
A.S.博士ブルース・コーエン氏はノースカロライナ州シャーロットにあるオルソカロライナ社の外科医で元CEO。
「毎年のコーディング要件が導入されると、AIベースのシステムがそれらの変更をリアルタイムで統合し、実装するだろう」と、ノースカロライナ州シャーロットのオーソカロライナ病院の元CEOで外科医のブルース・コーエン博士はヘルスケアITニュースに語った。
AIベースのシステムはコーダーの仕事を削減するものではない、と彼は付け加えた。「評価と管理コーディングに基づいて、発行されるすべての請求の監視と正確性が向上します。」
「私たちの研究結果は、医療コーディングのような機密性の高い業務分野にAI技術を導入する前に、厳格な評価と改良が極めて重要であることを強調している」とソロウシュ氏はマウントサイナイの研究に関する声明で主張した。
「この研究は、ヘルスケアにおけるAIの現在の能力と課題を明らかにし、広く採用される前に慎重な検討とさらなる改良が必要であることを強調している」と、チャールズ・ブロンフマン個別化医療研究所所長でD3Mのシステム責任者であるギリッシュ・ナドカルニ博士は付け加えた。
Andrea Fox は Healthcare IT News の上級編集者です。電子メール: afox@himss.orgHealthcare IT News は HIMSS Media の出版物です。
© 2024 Healthcare IT NewsはHIMSS Mediaの発行物です
