Web crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.
Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan.
Ketika web crawl suatu search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar informasi yang dikumpulkan web crawl, search engine akan menentukan mengenai apakah suatu situs dan mengindex informasinya. Website itu kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking halaman-halamannya.
Namun search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yakni, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini. Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.
Web crawl bisa beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan.
Home | About | Blogging | Daily Life | Insights | News | Videos | SEO
djuyadi 
Hello,
can anyone tell me which is the best counter strike guide ? :)…i found this one :
What do you far about it ?
Thanx in advance
Sorry for my bad english :s
wah saya masih ga ngerti, jadi penting ga seh crawler itu??
bisa ditaro di blog apa gmn neh??
mohon penjelasan, masih ga ngerti neh hehehe
Pingback: Apa itu Web Crawler, Web Spider, Web Robot, WebBot | yanmieonline.com
agak pening baca entri ni, adesss
iya mas ga jelas tolong di detail lg gmana cara pkenya, kalo msti pake script gmana dl nya n use guide komplit lah ya>………………….
halloo, saya mau bertanya mengenai contoh software web crawler. kira-kira ada versi web crawler yang open source dan bisa saya download ?
~makasih 🙂
sob mohon maaf, saya nulis artikel itu dari makalah yang ada di perpustakaan, disana ga tercantum sumber yang ini, ga ada sumber sama sekali, saya juga buat paragraf pertama disana dengan tulisan saya sendiri, pas saya cek di google pun ternyata ada yang menulis artikel yang sama, tapi saya nulis bukan copas dari blog ini atau yang ada di google, makannya saya tidak menyertakan sumbernya.
terima kasih mas buat informasinya. sekarang saya jadi tahu, sebagai blogger pemula ini sangat penting 🙂 keep post ya
klo gak ada informasinya lebih lanjut gak apa-apa sob,
but thanks infonya, saat ini membantu saya.. 😀
Menurut saya.
Web spider / crawl thu di gunain pada search engine untuk mengcrawl semua web untuk diindeks.
Maaf law salah. hehe
Kunjung balik ya sob
Klik disini
Info yang baguz sekali untuk disimak…..
Bermanfaat sekali untuk saya….
Mohon kunjungan baliknya yaa….
Dan saya juga sangat berterima kasih sekali kalau anda berkenan FOLLOW dan Backlink Blog sederhana saya…. 🙂
Title: Zamrud News
( http://www.zamrudnews.com )
mantap postingannya broo
Pingback: Penelusuran Search Engine | Oshigita's Page
mantapp sekali gan,, ijin nanti akan ane bahas di blog ane juga gan,, thanks,
bernas info nya mas
Pingback: analisis web | fajarpram
Pingback: Web dan Perilaku pengguna / Interaksi Manusia dengan Komputer | I put my assignments, here
lumayan untuk nambah2 pengetahuan saya. jadi lebih memahami bagaimana proses crawling terjadi. kunjung balik gan toko bunga bandung
web crawler mmg sangat penting
Pingback: Tugas 4 Softskill – Analisis Web dan Ekonomi Web | lusitrirahayu
Pingback: Info Seputar Search Engine | danielkuncoro2
Sebagai pemula memnag harus membaca lebih banyak lagi…
thx artikelnya walau masih kurang paham
oh iya gan-agan semua kalau butuh Sewa bus white horse silahkan call me ya thx.
Pingback: Menerapkan Teknik Penelusuran Search Engine – Technology and Information
Pingback: S2.P2. SIMDIG – technoteacher