Halaman website kamy telah dipublikasikan dan dapat diakses di internet. Tetapi bagaimana kamu tahu bahwa situs web kamu dapat diindeks di mesin pencari seperti Google, Yahoo, Bing, Yandex?
Dalam beberapa kasus, ini akan tergantung pada teknologi di situs web kamu.
Jika kamu menggunakan CMS populer seperti Wordpress, Drupal, Joomla, dll. Situs kamu mungkin akan diindeks oleh mesin pencari secara otomatis.
Terkadang, kita perlu untuk mencegah halaman tertentu di situs agar tidak diindeks oleh mesin pencari.
Ada beberapa cara yang bisa dilakukan agar website tidak terindeks oleh mesin pencari.
Berikut adalah beberapa metode yang dapat digunakan di situs web:
Menggunakan robots.txt
Pada root website, buat file baru atau edit file robots.txt kemudian tulis kode berikut.
User-agent: *
Disallow: Menggunakan .htaccess
Akses File Manager melalui cPanel hosting, lalu masuk ke root domain. Buat file baru atau edit file bernama .htaccess lalu tulis kode berikut:
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow, noarchive"
<FilesMatch "\.(doc|pdf|png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex, noarchive, nosnippet"
</FilesMatch>
</IfModule>Menggunakan robot meta tag
Alternatif lainnya bisa dengan menambahkan robot meta tag yang ada pada head tag website.
<meta name="robots" content="noindex,nofollow">Menggunakan metode tersebut diatas sangat menyesuaikan dengan kondisi.
Metode .htaccess sangat ampuh untuk membuat robot crawling berhenti meng-index keseluruhan halaman website. Tapi jika kamu hanya membutuhkan untuk halaman tertentu, kamu bisa menggunakan meta tag saja.
Jika kamu belum yakin bahwa website kamu sudah terindex atau mengalami kendala dalam mengatur halaman tertentu agar tidak terindex oleh mesin pencari. kamu bisa kontak saya di: