Know Easy 
クローラー（Crawler）とは
クローラー（Crawler）とは、検索エンジンが検索結果を決定するためにウェブページ間のリンクを辿って情報収集する自動巡回ロボットのことです。
クローラーが情報収集することを「クロール」と呼びます。
クロールされた情報はデータベース（世界最大の図書館）に登録されます。
このことを「インデックス登録」と呼びます。
詳しいクローラーが巡回してインデックス登録を行うまでの流れについては下記の記事で詳しく解説されているのでご確認ください。
クローラーの種類（補足）
GoogleのメインクローラーをGooglebotと呼びます。
クローラーは厳密にいうと「ウェブサイトを自動的に検出してスキャンするプログラムを指す総称」なので1つではなく複数の種類があります。
細かくクローラーの種類を確認したい方はGoogleの公式ページを確認すると良いでしょう。
