Robots.txt exempel

Webbplatsägare använder filen /robots.txt för att ge instruktioner om sin webbplats till bots från sökmotorer som Google, Yahoo, Bing, etc.

Systemet fungerar enkelt, om en robot vill besöka URL: en till exempel: https://www.ejemplode.com/ Innan du gör det, kolla in https://www.ejemplode.com/robots.txt och dess innehåll är fixat. Genom robots.txt-innehållet instrueras bots att inte indexera eller komma åt vissa filer. Det kan till exempel vara specifikt att vissa bots inte kommer in, men andra gör det.

Det finns två viktiga överväganden när du använder /robots.txt:

• Robotar kan ignorera din robots.txt. Speciellt malware-bots som söker igenom webben efter sårbarheter och e-postadressskannrar som används för att skicka skräppost.
• Filen robots.txt är allmänt tillgänglig. Vem som helst kan se innehållet i din robots.txt

Så använd inte robots.txt för att dölja information. Använd det snarare så att visst innehåll på din webbplats inte indexeras.

 Här är flera exempel på robots.txt med deras förklaring

Koda:
Användaragent: * Disallow: /

Denna kod gör att alla robotar inte kan komma åt något innehåll på webbplatsen. User-agent-parametern är att specificera robotarna, i det här fallet med asterisken, vi pekar på dem alla. Och Disallow är så att de inte kan komma åt. Om i det här fallet gör en Disallow i / kan robotarna inte komma åt någonstans.

Koda:
Användaragent: * Inte godkänna:

Å andra sidan, om vi lämnar Disallow tom, händer ingenting. Robotar kan komma åt vilket innehåll som helst.

Nu ett annat exempel

Koda:
Användaragent: * Disallow: /contact.html. Disallow: /file.html

Denna följande kod gör att alla robotar inte går via contact.html eller file.html

Sedan har vi det här andra exemplet som tillåter ingen robot att passera genom webbplatsen, förutom Google-boten

Koda:
Användaragent: Google. Disallow: User-agent: *Disallow: /