Contoh robots.txt

Pemilik situs web menggunakan file /robots.txt untuk memberikan instruksi tentang situs mereka ke bot dari mesin pencari seperti Google, Yahoo, Bing, dll.

Sistem kerjanya sederhana, jika robot ingin mengunjungi URL misalnya: https://www.ejemplode.com/ Sebelum melakukannya, periksa https://www.ejemplode.com/robots.txt dan isinya tetap. Melalui konten robots.txt, bot diinstruksikan untuk tidak mengindeks, atau mengakses file tertentu. Ini bisa menjadi spesifik, misalnya, bahwa bot tertentu tidak masuk, tetapi yang lain melakukannya.

Ada dua pertimbangan penting saat menggunakan /robots.txt:

• Robot dapat mengabaikan robots.txt Anda. Terutama bot malware yang memindai web untuk mencari kerentanan, dan pemindai alamat email yang digunakan untuk mengirim spam.
• File robots.txt tersedia untuk umum. Siapa pun dapat melihat konten robots.txt Anda

Jadi jangan gunakan robots.txt untuk menyembunyikan informasi. Sebaliknya, gunakan agar konten tertentu di situs Anda tidak diindeks.

 Berikut beberapa contoh robots.txt beserta penjelasannya

Kode:
Agen pengguna: * Larang: /

Kode ini membuat semua robot tidak dapat mengakses konten apa pun di situs. Parameter User-agent adalah untuk menentukan robot, dalam hal ini dengan tanda bintang, kami menunjuk ke semuanya. Dan Disallow agar mereka tidak dapat mengakses. Dalam hal ini, melakukan Disallow di /, robot tidak dapat mengakses di mana pun.

Kode:
Agen pengguna: * Melarang:

Di sisi lain, jika kita membiarkan Disallow kosong, tidak ada yang terjadi. Robot dapat mengakses konten apa pun.

Sekarang contoh lain

Kode:
Agen pengguna: * Larang: /contact.html. Larang: /file.html

Kode berikut ini, membuat semua robot tidak melalui contact.html atau file.html

Kemudian kami memiliki contoh lain yang memungkinkan tidak ada robot yang melewati situs, kecuali bot Google

Kode:
Agen-pengguna: Google. Larang: Agen-pengguna: *Larang: /