ロボット型検索エンジンには、膨大な情報のページを整理するために、定期的に、クローラーと呼ばれるロボットを巡回させて情報を集める仕組みがある。クローラーが集めたページの情報は検索エンジンのデータベースに登録され、実際のユーザーのアクセスに対して、高速な検索結果の提供と、検索結果の質の向上に役立っている。
また、クローラーが集めた情報は、インデクサと呼ばれるデータベースに登録されるのだが、SEOを行うにあたって、インデクサはかなり重要になってくる。というのも、インデクサはワードの出現率や出現場所、などを解析し、検索結果の順位付けに関わる作業を担っているからである。
SEO対策にとってクローラーに訪れてもらわないことには、インデクサにデータの格納されることもないわけなので、まずは、クローラーに訪れてもらうことが重要である。
しかし、クローラーは、ページのリンクなどをたどって巡回をするので、まだ開きたてでリンクが張られていない場合はどうしたらよいか。その場合は、検索エンジンにサービス自体にページ情報を登録することができる。これによって、開きたてのページでもクローラーに巡回してもらうことが可能になる。