Robots.txt მაგალითი

ვებსაიტების მფლობელები იყენებენ /robots.txt ფაილს, რათა თავიანთი საიტის შესახებ ინსტრუქციები მისცენ ბოტებს საძიებო სისტემებიდან, როგორიცაა Google, Yahoo, Bing და ა.შ.

სისტემა მუშაობს მარტივად, თუ რობოტს სურს მოინახულოს URL, მაგალითად: https://www.ejemplode.com/ სანამ ამას გააკეთებთ, შეამოწმეთ https://www.ejemplode.com/robots.txt და მისი შინაარსი ფიქსირდება. robots.txt კონტენტის საშუალებით, ბოტებს ეძლევათ ინსტრუქცია, არ მოახდინოს ინდექსირება ან წვდომა გარკვეულ ფაილებზე. ეს შეიძლება იყოს კონკრეტული, მაგალითად, რომ გარკვეული ბოტები არ შედიან, მაგრამ სხვები შედიან.

არსებობს ორი მნიშვნელოვანი მოსაზრება /robots.txt-ის გამოყენებისას:

• რობოტებს შეუძლიათ თქვენი robots.txt იგნორირება. განსაკუთრებით მავნე პროგრამების ბოტები, რომლებიც სკანირებენ ინტერნეტს დაუცველობისთვის და ელფოსტის მისამართის სკანერები, რომლებიც გამოიყენება სპამის გასაგზავნად.
• robots.txt ფაილი საჯაროდ ხელმისაწვდომია. ნებისმიერს შეუძლია თქვენი robots.txt-ის კონტენტის ნახვა

ამიტომ ნუ გამოიყენებთ robots.txt ინფორმაციის დასამალად. პირიქით, გამოიყენეთ ის ისე, რომ თქვენს საიტზე გარკვეული შინაარსი არ იყოს ინდექსირებული.

 აქ მოცემულია robots.txt-ის რამდენიმე მაგალითი მათი განმარტებით

კოდი:
მომხმარებლის აგენტი: * აკრძალვა:/

ეს კოდი აიძულებს ყველა რობოტს არ ჰქონდეს წვდომა საიტის ნებისმიერ შინაარსზე. User-agent პარამეტრი არის რობოტების მითითება, ამ შემთხვევაში ვარსკვლავით ჩვენ ყველა მათგანზე მივუთითებთ. და დაუშვებელია, რომ მათ არ შეუძლიათ წვდომა. ამ შემთხვევაში, აკრძალვის შემთხვევაში /, რობოტები ვერ შედიან სადმე.

კოდი:
მომხმარებლის აგენტი: * აკრძალვა:

მეორეს მხრივ, თუ Disallow-ს ცარიელი დავტოვებთ, არაფერი ხდება. რობოტებს შეუძლიათ წვდომა ნებისმიერ შინაარსზე.

ახლა კიდევ ერთი მაგალითი

კოდი:
მომხმარებლის აგენტი: * აკრძალვა: /contact.html. აკრძალვა: /file.html

ეს შემდეგი კოდი ნიშნავს, რომ ყველა რობოტი არ გადის contact.html ან file.html-ს

შემდეგ ჩვენ გვაქვს ეს სხვა მაგალითი, რომელიც საშუალებას აძლევს არცერთ რობოტს საიტზე გაიაროს, გარდა Google ბოტისა

კოდი:
მომხმარებლის აგენტი: Google. აკრძალვა: მომხმარებლის აგენტი: *აკრძალვა:/