- AIモデルはソフトウェアパッケージの名前を頻繁に作り上げる
- 研究者たちは16つのLLMを調査し、パッケージ名の創作に関する傾向を探求
- 研究結果によると、商用モデルでは幻覚率が5.2％、オープンソースモデルでは21.7％
- 商用モデルはオープンソースモデルよりも4倍少ない
- パッケージ幻覚の削減にはコード品質の低下が伴う
この記事はAIモデルがソフトウェアパッケージの名前を作り上げる傾向について述べており、研究結果によるとこの問題は商用モデルとオープンソースモデルで異なることが示されています。商用モデルはオープンソースモデルよりも幻覚を起こす確率が低いですが、パッケージ幻覚を削減するためにはコード品質の低下が必要とされることが示唆されています。
元記事: https://www.theregister.com/2024/09/30/ai_code_helpers_invent_packages/