Robots.txt მაგალითი

ვებსაიტების მფლობელები იყენებენ /robots.txt ფაილს, რათა თავიანთი საიტის შესახებ ინსტრუქციები მისცენ ბოტებს საძიებო სისტემებიდან, როგორიცაა Google, Yahoo, Bing და ა.შ.

სისტემა მუშაობს მარტივად, თუ რობოტს სურს ეწვიოს URL- ს, მაგალითად: https://www.ejemplode.com/ სანამ ამას გააკეთებ, გაეცანი https://www.ejemplode.com/robots.txt და მისი შინაარსი ფიქსირდება. Robots.txt შინაარსის საშუალებით, ბოტებს ევალებათ არ მოახდინონ ინდექსაცია ან წვდომა გარკვეულ ფაილებზე. შეიძლება სპეციფიკური იყოს, მაგალითად, რომ გარკვეული ბოტები არ შემოდიან, მაგრამ სხვები შედიან.

/Robots.txt გამოყენებისას ორი მნიშვნელოვანი მოსაზრება არსებობს:

• რობოტებს შეუძლიათ უგულებელყონ თქვენი robots.txt. განსაკუთრებით მავნე პროგრამების ბოტები, რომლებიც სკანირებენ ინტერნეტს დაუცველობად და ელ.ფოსტის მისამართების სკანერები იყენებენ სპამის გაგზავნას.
• Robots.txt ფაილი საჯაროდ ხელმისაწვდომია. ყველას შეუძლია დაინახოს თქვენი robots.txt- ის შინაარსი

ასე რომ, არ გამოიყენოთ robots.txt ინფორმაციის დასამალად. უფრო მეტიც, გამოიყენეთ ისე, რომ თქვენს საიტზე გარკვეული შინაარსი არ იყოს ინდექსირებული.

 აქ მოცემულია რამდენიმე მაგალითი robots.txt მათი ახსნა-განმარტებით

კოდი:
მომხმარებლის აგენტი: * აკრძალვა: /

ამ კოდის საშუალებით ყველა რობოტს არ აქვს წვდომა საიტზე არსებულ შინაარსზე. მომხმარებლის აგენტის პარამეტრია რობოტების დაზუსტება, ამ შემთხვევაში ვარსკვლავით ჩვენ მივუთითებთ ყველა მათგანს. დაუშვებელია, რათა მათ ვერ შეძლონ წვდომა. ამ შემთხვევაში, Disallow– ის გაკეთებით /, რობოტებს ვერსად მიუწვდებათ ხელი.

კოდი:
მომხმარებლის აგენტი: * აკრძალვა:

მეორეს მხრივ, თუ Disallow ცარიელი დავტოვებთ, არაფერი ხდება. რობოტებს შეუძლიათ ნებისმიერი შინაარსის წვდომა.

ახლა კიდევ ერთი მაგალითი

კოდი:
მომხმარებლის აგენტი: * აკრძალვა: /contact.html. აკრძალვა: /file.html

შემდეგი კოდი საშუალებას გვაძლევს, რომ ყველა რობოტი არ გაიაროს contact.html ან file.html

შემდეგ ჩვენ გვაქვს ეს სხვა მაგალითი, რომელიც საშუალებას არ აძლევს არცერთ რობოტს გაიაროს საიტზე, გარდა Google bot

კოდი:
მომხმარებლის აგენტი: Google. აკრძალვა: მომხმარებლის აგენტი: *აკრძალვა: /