Halaman website Anda telah dipublikasikan dan dapat diakses di internet. Tetapi bagaimana Anda tahu bahwa situs web Anda dapat diindeks di mesin pencari seperti Google, Yahoo, Bing, Yandex?
Dalam beberapa kasus, ini akan tergantung pada teknologi di situs web Anda.
Jika Anda menggunakan CMS populer seperti Wordpress, Drupal, Joomla, dll. Situs Anda mungkin akan diindeks oleh mesin pencari secara otomatis.
Terkadang, kita perlu untuk mencegah halaman tertentu di situs agar tidak diindeks oleh mesin pencari.
Ada beberapa cara yang bisa dilakukan agar website tidak terindeks oleh mesin pencari.
Berikut adalah beberapa metode yang dapat digunakan di situs web:
Menggunakan robots.txt
Pada root website, buat file baru atau edit file robots.txt kemudian tulis kode berikut.
User-agent: *
Disallow: Menggunakan .htaccess
Akses File Manager melalui cPanel hosting, lalu masuk ke root domain. Buat file baru atau edit file bernama .htaccess lalu tulis kode berikut:
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow, noarchive"
<FilesMatch "\.(doc|pdf|png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex, noarchive, nosnippet"
</FilesMatch>
</IfModule>Menggunakan robot meta tag
Alternatif lainnya bisa dengan menambahkan robot meta tag yang ada pada head tag website.
<meta name="robots" content="noindex,nofollow">Menggunakan metode tersebut diatas sangat menyesuaikan dengan kondisi.
Metode .htaccess sangat ampuh untuk membuat robot crawling berhenti meng-index keseluruhan halaman website. Tapi jika anda hanya membutuhkan untuk halaman tertentu, anda bisa menggunakan meta tag saja.
Jika anda belum yakin bahwa website anda sudah terindex atau mengalami kendala dalam mengatur halaman tertentu agar tidak terindex oleh mesin pencari. Anda bisa kontak saya di: