- WWWの古い時代では、robots.txtファイルを設置するだけで、検索エンジンのクローラーなどがそのルールを尊重していた。
- しかし、今日では、大規模な言語モデル（LLM）企業からのウェブクローラーが、そのようなサインを無視してウェブサイトのコンテンツを取得している。
- その対策として、Nepenthesという「ウェブクローラーを捕まえるためのタールピット」プロジェクトが提案されている。
- Nepenthesは、ウェブサーバーの背後にトラップとして設定され、アクセスするウェブクローラーにランダムに生成されたページを提供する。
- このソフトウェアの主な効果は、クローラーがサイトをクロールする価値がないと判断すること（もし効果があるならば）。
私の考え：
この記事では、ウェブスクレイピングに対抗するための面白いアイデアが紹介されています。Nepenthesというプロジェクトは、ウェブクローラーを混乱させるための斬新な方法を提案しており、クローラーがサイトを見逃す可能性があります。ただし、実際には効果的かどうかは疑問です。
元記事: https://hackaday.com/2025/01/23/trap-naughty-web-crawlers-in-digestive-juices-with-nepenthes/