1. Jelaskan
pengertian dan berikan contoh tentang web crawler
Web
crawler adalah sebuah tool untuk mengindeks dan mengunduh konten dari internet,
lalu disimpan ke dalam database mesin pencari.
Contoh
web crawler :
·
Bingbot dari Bing
·
Slurp Bot dari Yahoo
·
DuckDuckBot dari DuckDuckGO
·
Baiduspider dari Baidu (mesin pencari dari
China)
·
Yandex Bot dari Yandex (mesin pencari dari
Rusia)
·
Sogou Spider dari Sogou (mesin pencari
dari China)
·
Exabot dari Exalead
·
Alexa Crawler dari Amazon
2. Jelaskan
cara kerja dari web crawler
web
crawler akan mengunjungi sebuah situs dan berbagai link yang terdapat dalam laman tersebut. Kemudian, tugas tools
web crawling berikutnya adalah mencatat setiap link yang mereka temukan ke indeks mereka. Setelah itu, web
crawler akan mengumpulkan berbagai informasi, seperti tulisan dan meta
tag. Informasi tersebut akan tersimpan dalam indeks search engine sehingga
dapat muncul ketika pengguna mencari konten dengan keyword yang
serupa.
3.
Jelaskan fungsi dari
web crawler
1. Membandingkan Harga
Web crawler bisa membandingkan harga dari suatu produk di
internet. Sehingga harga ataupun data dari produk tersebut bisa akurat. Jadi,
saat Anda mencari suatu produk, harga produk tersebut akan langsung muncul
tanpa perlu masuk ke website penjualnya.
2. Data untuk Tools Analisis
Tools analisis website seperti Google Search Console dan
Screaming Frog SEO mengandalkan web crawler untuk mengumpulkan data-datanya dan
melakukan indexing. Sehingga data-data yang dihasilkan selalu akurat dan
terbaru.
3. Data Untuk Statistik
Web crawler juga memberikan data-data penting yang bisa
digunakan untuk website berita atau website statistik. Misalnya, hasil
pencarian berita yang akan muncul di Google News. Untuk muncul di Google News,
website memerlukan sitemap khsusus yang akan di-crawl oleh web crawler
nantinya.
4.
Jelaskan cara
memblokir web crawler
Denngan menambahkan beberapa instruksi untuk memblokir web crawler
pada file Robots.txt
No comments:
Post a Comment