Robots.txt-exempel

Webbplatsägare använder filen /robots.txt för att ge instruktioner om sin webbplats till bots från sökmotorer som Google, Yahoo, Bing, etc.

Systemet fungerar enkelt, om en robot vill besöka webbadressen till exempel: https://www.ejemplode.com/ innan du gör det, kolla in https://www.ejemplode.com/robots.txt och dess innehåll är fixat. Genom robots.txt-innehållet instrueras bots att inte indexera eller komma åt vissa filer. Det kan vara specifikt, till exempel att vissa bots inte kommer in, men andra gör det.

Det finns två viktiga överväganden när du använder /robots.txt:

• Robotar kan ignorera din robots.txt. Särskilt skadliga robotar som söker efter sårbarheter på webben och e-postadressskannrar som används för att skicka skräppost.
• Roboten.txt-filen är allmänt tillgänglig. Vem som helst kan se innehållet i din robots.txt

Så använd inte robots.txt för att dölja information. Använd det snarare så att visst innehåll på din webbplats inte indexeras.

 Här är flera exempel på robots.txt med deras förklaring

Koda:
Användaragent: * Tillåt: /

Denna kod gör att alla robotar inte kan komma åt något innehåll på webbplatsen. Parametern User-agent är att specificera robotarna, i detta fall med asterisken pekar vi på dem alla. Och Disallow är så att de inte kan komma åt. I det här fallet kan robotarna inte komma åt någonstans genom att göra en Disallow in /.

Koda:
Användaragent: * Inte godkänna:

Å andra sidan, om vi lämnar Disallow tom, händer ingenting. Robotar kan komma åt allt innehåll.

Nu ett annat exempel

Koda:
Användaragent: * Tillåt inte: /contact.html. Tillåt inte: /fil.html

Den här följande koden gör att alla robotar inte går igenom contact.html eller file.html

Sedan har vi det här andra exemplet som tillåter ingen robot att passera genom webbplatsen, förutom Google-bot

Koda:
Användaragent: Google. Tillåt inte: Användaragent: *Tillåt: /