- ByteDanceはWebをスクレイピングして、生成AIモデルの訓練に必要なデータを収集するために失った時間を取り戻そうとしている。
- ByteDanceの親会社である中国の動画アプリTikTokは、独自のWebクローラーまたはスクレイパーボット「Bytespider」を2024年4月ごろにリリースした。
- Bytespiderは、他の主要企業（Google、Meta、Amazon、OpenAI、Anthropicなど）のスクレイパーボットよりもはるかに多くのデータを収集している。
- Bytespiderは、過去6週間でスクレイピング活動が大幅に増加してきており、より攻撃的になっている。
- ByteDanceはTikTokが米国で禁止される可能性にもかかわらず、積極的なスクレイピングを行っている。
自己利用以外でのデータスクレイピングや著作権侵害の問題が生じていることが明らかになっています。ByteDanceが新しいLLMに取り組んでいることや、TikTokの検索機能向上のためにAIモデルの活用を計画していることが示唆されています。ByteDanceの取り組みは注目される一方で、データ収集の方法や利用に関する懸念も浮上しています。
元記事: https://fortune.com/2024/10/03/bytedance-tiktok-bytespider-scraper-bot/