Web スクレイピングは通常、意味のあるデータを抽出するための最初のステップにすぎません。すべてを取得したら、それを有用なものに処理する必要があります。その作業を支援するのが、Scrapegraph-ai です。これは、選択した大規模言語モデル (LLM) を使用してプロセスを自動化することを約束する Python ツールです。
Scrapegraph-ai は URL だけでなく、データをどのように処理するかについての平易な英語の指示であるプロンプトも受け入れることができます。例としては、要約、画像の説明などがあります。つまり、データの収集と分析またはフォーマットを 1 つにまとめて実行できるようになりました。
このプロジェクトは、AI バックエンドの点では実はかなり柔軟です。ローカルにインストールされた AI ツール (ollama 経由) や、OpenAI などのサービスの API キーで動作できます。OpenAI API キーをお持ちの場合は、機能を非常に効果的に紹介するオンライン デモがあります。そうでない場合は、ローカル インストールはわずか数操作で完了します。
大規模言語モデルなどの AI ツールの柔軟性を活用して、Web スクレイピングという厄介な作業を軽減する例は今回が初めてではありませんが、結果がますます良くなっているのは素晴らしいことです。
当社のウェブサイトおよびサービスを使用することにより、お客様は当社のパフォーマンス、機能性、および広告クッキーの配置に明示的に同意するものとします。詳細はこちら
元記事: https://hackaday.com/tag/local-llm/