Robots.txt उदाहरण

वेबसाइट के मालिक अपनी साइट के बारे में गूगल, याहू, बिंग आदि जैसे सर्च इंजन से बॉट्स को निर्देश देने के लिए /robots.txt फ़ाइल का उपयोग करते हैं।

सिस्टम सरल काम करता है, यदि कोई रोबोट उदाहरण के लिए URL पर जाना चाहता है: https://www.ejemplode.com/ ऐसा करने से पहले, देखें https://www.ejemplode.com/robots.txt और इसकी सामग्री निश्चित है। robots.txt सामग्री के माध्यम से, बॉट्स को निर्देश दिया जाता है कि वे कुछ फ़ाइलों को अनुक्रमित या एक्सेस न करें। यह विशिष्ट हो सकता है, उदाहरण के लिए, कि कुछ बॉट प्रवेश नहीं करते हैं, लेकिन अन्य करते हैं।

/robots.txt का उपयोग करते समय दो महत्वपूर्ण विचार हैं:

• रोबोट आपके robots.txt को अनदेखा कर सकते हैं। विशेष रूप से मैलवेयर बॉट जो कमजोरियों के लिए वेब को स्कैन करते हैं, और ईमेल एड्रेस स्कैनर स्पैम भेजने के लिए उपयोग किए जाते हैं।
• robots.txt फ़ाइल सार्वजनिक रूप से उपलब्ध है। कोई भी आपके robots.txt की सामग्री देख सकता है

इसलिए जानकारी छिपाने के लिए robots.txt का उपयोग न करें। इसके बजाय, इसका उपयोग करें ताकि आपकी साइट पर कुछ सामग्री अनुक्रमित न हो।

 यहां कई उदाहरण दिए गए हैं robots.txt उनके स्पष्टीकरण के साथ

कोड:
उपयोगकर्ता एजेंट: * अस्वीकार करें: /

यह कोड सभी रोबोटों को साइट पर किसी भी सामग्री तक पहुंचने में असमर्थ बनाता है। उपयोगकर्ता-एजेंट पैरामीटर रोबोट को निर्दिष्ट करने के लिए है, इस मामले में तारांकन के साथ, हम उन सभी को इंगित करते हैं। और अस्वीकृत इसलिए है कि वे एक्सेस नहीं कर सकते। इस मामले में, / में अस्वीकृत करने से, रोबोट कहीं भी एक्सेस नहीं कर सकते।

कोड:
उपयोगकर्ता एजेंट: * अस्वीकार करें:

दूसरी ओर, यदि हम Disallow को खाली छोड़ देते हैं, तो कुछ नहीं होता है। रोबोट किसी भी सामग्री तक पहुंच सकते हैं।

अब एक और उदाहरण

कोड:
उपयोगकर्ता एजेंट: * अस्वीकृत करें: /contact.html. अस्वीकृत करें: /file.html

यह निम्नलिखित कोड बनाता है कि सभी रोबोट contact.html या file.html. से नहीं गुजरते हैं

फिर हमारे पास यह दूसरा उदाहरण है जो Google bot. को छोड़कर किसी भी रोबोट को साइट से गुजरने की अनुमति नहीं देता है

कोड:
उपयोगकर्ता-एजेंट: गूगल। अस्वीकृत करें: उपयोगकर्ता-एजेंट: *अस्वीकार करें: /