common crawl

Common Crawl（コモン・クロール）は定期的にインターネット上のWEBサイトをクローリングし、アーカイブを公開しているプロジェクトです。クローリングされたWEBサイトのデータは無料で公開されており、巨大なデータセットとして使用できます。