Cara Agar Website Tidak Terindex oleh Mesin Pencari

Layaknya manusia, website juga memiliki sisi privacy yang tidak ingin diketahui oleh orang lain, khususnya mesin pencari. Untuk itu, ada halaman tertentu pada website yang perlu dibatasi supaya tidak di index oleh mesin pencari. Melalui artikel ini, kami akan membahas cara agar website tidak terindex oleh mesin pencari.

Memiliki banyak hasil pencarian di halaman pertama Google merupakan cita-cita setiap pemilik website. Namun, bila yang ditampilkan adalah informasi rahasia website Anda seperti informasi halaman login, maka hal tersebut bisa jadi satu masalah besar.

Untuk itu, kita perlu membatasi pencarian Robots di mesin pencari supaya tidak melakukan index pada halaman-halaman tertentu pada website kita. Penasaran caranya seperti apa? Simak artikel kami selengkapnya.

Kenapa perlu memblokir Google Crawl?

Sebagai search engine, Google akan mendatangi website Anda kemudian melakukan crawl untuk mendapatkan data, agar dapat ditampilkan di halaman pencarian. Namun karena beberapa alasan, kita perlu melakukan pembatasan. Ada apa saja?

1. Website masih dalam masa pengembangan

Saat website masih dalam masa pengembangan, sebaiknya kita lakukan pembatasan dengan memblokir robots Google.

2. Kontan Pribadi atau Rahasia

Bila memiliki konten atau halaman pribadi yang ada didalam website, maka kita dapat menyembunyikannya supaya tidak dikenali mesin pencari.

3. Konten Duplikat

Bila Anda memiliki halaman website yang memiliki konten yang mirip atau duplikat, maka silahkan melakukan pemblokiran robot di halaman tersebut. Konten duplikat bisa menyebabkan website terkena pinalti.

Itulah beberapa alasan bahwa tidak semua halaman website yang kita miliki, harus di index oleh Google. Ternyata layaknya manusia, website juga memiliki sisi privacy yang tidak perlu di publish tampil di pencarian Google. 

Halaman website apa saja yang lebih baik tidak diindeks?

Selanjutnya contoh halaman website atau bagian mana saja yang tidak perlu ditampilkan di Google adalah sebagai berikut. 

1. Halaman administrator

Dashboard administrator atau bagian backend website tidak perlu di index oleh Google. Alasannya adalah untuk keamanan. Bila di index Google, takutnya nanti terkena serangan seperti brute force atau DDOS.

2. Halaman yang tidak relevan untuk publik

Beberapa halaman pribadi untuk keperluan internal organisasi juga termasuk tidak perlu di Index oleh Google.

Kemudian bila Anda memiliki website pembelajaran yang memiliki  halaman berbayar untuk member yang sudah berlangganan, maka tidak perlu di Index. 

Mengenal robots.txt

Robots.txt adalah sebuah file khusus yang berperan memperbolehkan atau tidaknya suatu halaman di index oleh mesin pencari. File ini berada di document root website yang akan menjadi rujukan oleh robot mesin pencari saat berkunjung ke website Anda.

Sebagai contoh berikut ini contoh sederhana script untuk memblokir robot mesin pencari, di semua pencarian halaman website. 

User-agent: *
Disallow: /

Dengan perintah itu, maka robot mesin pencari dilarang melakukan index pada seluruh halaman website. Selengkapnya tentang robots.txt bisa Anda pelajari pada artikel berikut. Robots.txt adalah

Cara agar website tidak terindex

Yang ditunggu-tunggu, sampailah kita pada pembahasan cara melakukan block robot mesin pencari di beberapa platform website. 

Block Crawler di WordPress

Di WordPress, bila Anda belum ingin mesin pencari melakukan index pada website, maka Anda dapat memblokir robots dengan panduan berikut:

1. Login ke halaman admin WordPress.
2. Klik menu Setting > Reading. 
3. Centang pada opsi “Mencegah mesin pencari mengindeks situs ini.” Dengan begitu mesin pencari tidak akan melakukan index website Anda untuk sementara waktu hingga Anda mengizinkannya lagi. 

Anda juga bisa menggunakan Plugin untuk melakukan block. Sebagai contoh di Yoast SEO memiliki fitur untuk melakukan blokir mesin pencari. 

Cara Block Crawler di Joomla, CI, atau PHP

Untuk memblokir robots di Joomla, CI, atau PHP, maka Anda dapat menggunakan file robots.txt yang diletakkan di document root websitenya. Sebagai contoh, bila kita ingin halaman admin dan private tidak ingin di index oleh Google maka buat file robots.txt dengan isi script sebagai berikut. 

User-agent: *
Disallow: /admin/Disallow: /private/

Dengan begitu, Google tidak akan melakukan index pada halaman url /admin dan /private. 

Memblokir robots melalui tag noindex

Anda juga bisa melakukan blokir pada halaman tertentu dengan membuat meta tag noindex. Caranya, tambahkan kode berikut di bagian <head> halaman yang ingin diblokir:

<meta name="robots" content="noindex, nofollow">

Selain itu Anda juga bisa menggunakan HTTP Header X-Robots-Tag. Script ini berguna bilamana Anda tidak bisa menambahkan meta tag di html. 

header("X-Robots-Tag: noindex, nofollow", true);

Kesimpulan

Membatasi pengindexan mesin pencari pada halaman website ada beberapa cara yang bisa dilakukan. Beberapa caranya antara lain membuat Meta Tag, atau juga membuat HTTP Header X-Robots-Tag. Cara lain yang sering digunakan adalah membuat file robots.txt yang bisa Anda terapkan pada platform website berbasis WordPress, Joomla, ataupun PHP. 

Demikianlah pembahasan kami tentang cara agar website tidak terindex oleh mesin pencari. Dengan panduan ini, Anda bisa menentukan mana halaman yang perlu di index oleh mesin pencari, dan mana halaman yang tidak perlu di index.