Robots.txt उदाहरण

वेबसाइट के मालिक /robots.txt फ़ाइल का उपयोग खोज इंजन जैसे Google, Yahoo, Bing, आदि से बॉट्स को अपनी साइट के बारे में निर्देश देने के लिए करते हैं।

यदि कोई रोबोट उदाहरण के लिए URL पर जाना चाहता है, तो सिस्टम सरल काम करता है: https://www.ejemplode.com/ ऐसा करने से पहले, देखें https://www.ejemplode.com/robots.txt और इसकी सामग्री निश्चित है। robots.txt सामग्री के माध्यम से, बॉट्स को निर्देश दिया जाता है कि वे कुछ फ़ाइलों को अनुक्रमित या एक्सेस न करें। यह विशिष्ट हो सकता है, उदाहरण के लिए, कि कुछ बॉट प्रवेश नहीं करते हैं, लेकिन अन्य करते हैं।

/robots.txt का उपयोग करते समय दो महत्वपूर्ण विचार हैं:

• रोबोट आपके robots.txt को अनदेखा कर सकते हैं। विशेष रूप से मैलवेयर बॉट जो कमजोरियों के लिए वेब को स्कैन करते हैं, और ईमेल पता स्कैनर स्पैम भेजने के लिए उपयोग किए जाते हैं।
• robots.txt फ़ाइल सार्वजनिक रूप से उपलब्ध है। आपकी robots.txt की सामग्री कोई भी देख सकता है

इसलिए जानकारी छिपाने के लिए robots.txt का उपयोग न करें। इसके बजाय, इसका उपयोग करें ताकि आपकी साइट पर कुछ सामग्री अनुक्रमित न हो।

 यहां कई उदाहरण दिए गए हैं robots.txt उनके स्पष्टीकरण के साथ

कोड:
उपभोक्ता अभिकर्ता: * अस्वीकार करें: /

यह कोड सभी रोबोटों को साइट पर किसी भी सामग्री तक पहुंचने में असमर्थ बनाता है। उपयोगकर्ता-एजेंट पैरामीटर रोबोट को निर्दिष्ट करना है, इस मामले में तारांकन के साथ, हम उन सभी को इंगित करते हैं। और Disallow ऐसा है कि वे एक्सेस नहीं कर सकते। इस मामले में, / में अस्वीकृत करने से, रोबोट कहीं भी एक्सेस नहीं कर सकते।

कोड:
उपभोक्ता अभिकर्ता: * अस्वीकार करें:

दूसरी ओर, यदि हम Disallow को खाली छोड़ देते हैं, तो कुछ नहीं होता है। रोबोट किसी भी सामग्री तक पहुंच सकते हैं।

अब एक और उदाहरण

कोड:
उपभोक्ता अभिकर्ता: * अस्वीकृत करें: /contact.html. अस्वीकृत करें: /file.html

यह निम्नलिखित कोड बनाता है कि सभी रोबोट contact.html या file.html. के माध्यम से नहीं जाते हैं

फिर हमारे पास यह दूसरा उदाहरण है जो Google bot को छोड़कर किसी भी रोबोट को साइट से गुजरने की अनुमति नहीं देता है

कोड:
उपयोगकर्ता-एजेंट: गूगल। अस्वीकृत करें: उपयोगकर्ता-एजेंट: *अस्वीकार करें: /