Przykład pliku robots.txt

Właściciele witryn używają pliku /robots.txt do przekazywania instrukcji dotyczących ich witryny botom z wyszukiwarek, takich jak Google, Yahoo, Bing itp.

System działa prosto, jeśli robot chce odwiedzić adres URL np.: https://www.ejemplode.com/ Zanim to zrobisz, sprawdź https://www.ejemplode.com/robots.txt a jego treść jest stała. Za pośrednictwem treści robots.txt boty są instruowane, aby nie indeksowały niektórych plików ani nie uzyskiwały do ​​nich dostępu. Może być określone, na przykład, że niektóre boty nie wchodzą, a inne wchodzą.

Podczas korzystania z pliku /robots.txt należy wziąć pod uwagę dwie ważne kwestie:

• Roboty mogą ignorować plik robots.txt. Zwłaszcza złośliwe boty skanujące sieć w poszukiwaniu luk w zabezpieczeniach oraz skanery adresów e-mail wykorzystywane do wysyłania spamu.
• Plik robots.txt jest publicznie dostępny. Każdy może zobaczyć zawartość twojego robots.txt

Dlatego nie używaj pliku robots.txt do ukrywania informacji. Zamiast tego używaj go, aby niektóre treści w Twojej witrynie nie były indeksowane.

 Oto kilka przykładowych plików robots.txt z ich wyjaśnieniem

Kod:
Agent użytkownika: * Uniemożliwić: /

Ten kod uniemożliwia wszystkim robotom dostęp do treści w witrynie. Parametr User-agent służy do określenia robotów, w tym przypadku gwiazdką wskazujemy na wszystkie. A Disallow jest po to, aby nie mogli uzyskać dostępu. W tym przypadku, wykonując Disallow w /, roboty nie mogą nigdzie uzyskać dostępu.

Kod:
Agent użytkownika: * Uniemożliwić:

Z drugiej strony, jeśli pozostawimy pole Disallow puste, nic się nie dzieje. Roboty mają dostęp do dowolnej zawartości.

Teraz kolejny przykład

Kod:
Agent użytkownika: * Zabroń: /kontakt.html. Zabroń: /plik.html

Poniższy kod sprawia, że ​​wszystkie roboty nie przechodzą przez contact.html lub file.html

Następnie mamy inny przykład, który nie pozwala żadnemu robotowi przejść przez witrynę, z wyjątkiem bota Google

Kod:
Klient użytkownika: Google. Nie zezwalaj: klient użytkownika: *Uniemożliwić: /