דוגמה של Robots.txt

בעלי אתרים משתמשים בקובץ /robots.txt בכדי לתת הוראות לגבי האתר שלהם לבוטים ממנועי חיפוש כמו גוגל, יאהו, בינג וכו '.

המערכת עובדת בפשטות, אם רובוט רוצה לבקר בכתובת האתר למשל: https://www.ejemplode.com/ לפני שתעשה זאת, בדוק https://www.ejemplode.com/robots.txt ותוכנו קבוע. באמצעות תוכן robots.txt, הרובוטים מונחים לא להוסיף לאינדקס או לגשת לקבצים מסוימים. זה יכול להיות ספציפי, למשל, שבוטים מסוימים לא נכנסים, אבל אחרים נכנסים.

ישנם שני שיקולים חשובים בעת השימוש /robots.txt:

• רובוטים יכולים להתעלם מה- robots.txt שלך. במיוחד בוטים של תוכנות זדוניות הסורקות באינטרנט אחר נקודות תורפה, וסורקי כתובות דוא"ל המשמשים למשלוח ספאם.
• הקובץ robots.txt זמין לציבור. כל אחד יכול לראות את התוכן של ה- robots.txt שלך

אז אל תשתמש ב- robots.txt כדי להסתיר מידע. במקום זאת, השתמש בו כך שתוכן מסוים באתר שלך לא יתווסף לאינדקס.

 להלן מספר דוגמאות של robots.txt עם ההסבר שלהם

קוד:
סוכן משתמש: * אסור: /

קוד זה גורם לכך שכל הרובוטים אינם יכולים לגשת לתוכן כלשהו באתר. הפרמטר User-agent הוא לציין את הרובוטים, במקרה זה עם הכוכבית, אנו מצביעים על כולם. ואסור הוא כדי שלא יוכלו לגשת אליו. במקרה זה, ביצוע Disallow ב- /, הרובוטים אינם יכולים לגשת לשום מקום.

קוד:
סוכן משתמש: * אסור:

מצד שני, אם אנו משאירים את Disallow ריק, שום דבר לא קורה. רובוטים יכולים לגשת לכל תוכן.

עכשיו דוגמא נוספת

קוד:
סוכן משתמש: * אסור: /contact.html. אסור: / file.html

הקוד הבא גורם לכך שכל הרובוטים לא יעברו דרך contact.html או file.html

ואז יש לנו את הדוגמה הנוספת הזו שמאפשרת לאף רובוט לעבור באתר, למעט הבוט של גוגל

קוד:
סוכן משתמשים: גוגל. Disallow: User-agent: *אסור: /