Robots.txt-eksempel

Nettstedeiere bruker /robots.txt-filen for å gi instruksjoner om nettstedet sitt til bots fra søkemotorer som Google, Yahoo, Bing, etc.

Systemet fungerer enkelt, hvis en robot for eksempel vil besøke URL: https://www.ejemplode.com/ Før du gjør det, sjekk ut https://www.ejemplode.com/robots.txt og innholdet er løst. Gjennom robots.txt-innholdet blir roboter instruert om ikke å indeksere eller få tilgang til bestemte filer. Det kan for eksempel være spesifikt at visse roboter ikke kommer inn, men andre gjør det.

Det er to viktige hensyn når du bruker /robots.txt:

• Roboter kan ignorere robots.txt. Spesielt malware-bots som skanner på nettet etter sårbarheter, og e-postadresseskannere som brukes til å sende spam.
• Robots.txt-filen er offentlig tilgjengelig. Alle kan se innholdet i robots.txt

Så ikke bruk robots.txt for å skjule informasjon. Bruk den heller slik at bestemt innhold på nettstedet ditt ikke indekseres.

 Her er flere eksempler på robots.txt med forklaringen

Kode:
Bruker agent: * Ikke tillat: /

Denne koden gjør at alle roboter ikke får tilgang til noe innhold på nettstedet. Parameteren User-agent er å spesifisere robotene, i dette tilfellet med stjernen, peker vi på dem alle. Og Disallow er slik at de ikke får tilgang. I dette tilfellet, når du gjør en Disallow in /, får ikke robotene tilgang hvor som helst.

Kode:
Bruker agent: * Ikke tillat:

På den annen side, hvis vi lar Disallow være tomme, skjer ingenting. Roboter har tilgang til alt innhold.

Nå et annet eksempel

Kode:
Bruker agent: * Ikke tillat: /contact.html. Ikke tillat: /fil.html

Denne følgende koden gjør at alle roboter ikke går gjennom contact.html eller file.html

Så har vi dette andre eksemplet som tillater ingen robot å passere gjennom nettstedet, bortsett fra Google-bot

Kode:
Brukeragent: Google. Ikke tillat: Brukeragent: *Ikke tillat: /