Crawler
Web Crawler (atau Spider/Bot) adalah bot internet yang secara sistematis menjelajahi World Wide Web, biasanya untuk tujuan pengindeksan Web (web indexing).
Konteks Penggunaan
Google menggunakan crawler untuk menemukan dan mengindeks halaman baru di internet.
Contoh
Googlebot mengunjungi website Anda, membaca isinya, lalu mengikuti semua link di halaman tersebut ke halaman lain, terus menerus tanpa henti.
Catatan
Robots.txt digunakan untuk mengatur perilaku crawler di website kita.
