Robots.txt örneği

Web sitesi sahipleri /robots.txt dosyasını Google, Yahoo, Bing vb. arama motorlarından botlara siteleri hakkında talimat vermek için kullanır.

Bir robot örneğin URL'yi ziyaret etmek isterse sistem basit çalışır: https://www.ejemplode.com/ Bunu yapmadan önce, kontrol edin https://www.ejemplode.com/robots.txt ve içeriği sabittir. robots.txt içeriği aracılığıyla, botlara belirli dosyaları endekslememeleri veya bunlara erişmemeleri talimatı verilir. Örneğin, belirli botların girmemesi, ancak diğerlerinin girmesi belirli olabilir.

/robots.txt kullanırken iki önemli nokta vardır:

• Robotlar, robots.txt dosyanızı yok sayabilir. Özellikle web'i güvenlik açıkları için tarayan kötü amaçlı yazılım botları ve spam göndermek için kullanılan e-posta adresi tarayıcıları.
• robots.txt dosyası herkese açıktır. Robots.txt dosyanızın içeriğini herkes görebilir

Bu nedenle, bilgileri gizlemek için robots.txt dosyasını kullanmayın. Bunun yerine, sitenizdeki belirli içeriğin dizine eklenmemesi için kullanın.

 İşte açıklamalarıyla birlikte birkaç örnek robots.txt

Kod:
Kullanıcı aracısı: * İzin verme: /

Bu kod, tüm robotların sitedeki hiçbir içeriğe erişememesini sağlar. User-agent parametresi robotları belirtmek içindir, bu durumda yıldız işareti ile hepsini işaret ediyoruz. Ve İzin Verme, erişememeleri içindir. Bu durumda / içinde İzin Verme işlemi yapıldığında robotlar hiçbir yere erişemez.

Kod:
Kullanıcı aracısı: * İzin verme:

Öte yandan Disallow'u boş bırakırsak hiçbir şey olmuyor. Robotlar herhangi bir içeriğe erişebilir.

Şimdi başka bir örnek

Kod:
Kullanıcı aracısı: * İzin verme: /contact.html. İzin verme: /file.html

Bu aşağıdaki kod, tüm robotların contact.html veya file.html'den geçmemesini sağlar.

Ardından, Google botu dışında hiçbir robotun siteden geçmesine izin vermeyen başka bir örneğimiz var.

Kod:
Kullanıcı aracısı: Google. İzin verme: Kullanıcı aracısı: *İzin verme: /