Robots.txt eksempel

Nettstedseiere bruker filen /robots.txt til å gi instruksjoner om nettstedet sitt til roboter fra søkemotorer som Google, Yahoo, Bing, etc.

Systemet fungerer enkelt, hvis en robot ønsker å besøke URL-en for eksempel: https://www.ejemplode.com/ Før du gjør det, sjekk ut https://www.ejemplode.com/robots.txt og innholdet er fast. Gjennom robots.txt-innholdet blir roboter bedt om å ikke indeksere eller få tilgang til enkelte filer. Det kan for eksempel være spesifikt at enkelte roboter ikke kommer inn, men andre gjør det.

Det er to viktige hensyn når du bruker /robots.txt:

• Roboter kan ignorere robots.txt. Spesielt malware-roboter som skanner nettet for sårbarheter, og e-postadresseskannere som brukes til å sende spam.
• Robots.txt-filen er offentlig tilgjengelig. Alle kan se innholdet i robots.txt

Så ikke bruk robots.txt for å skjule informasjon. Bruk det heller slik at bestemt innhold på nettstedet ditt ikke blir indeksert.

 Her er flere eksempler på robots.txt med deres forklaring

Kode:
Bruker agent: * Disallow: /

Denne koden gjør at alle roboter ikke får tilgang til noe innhold på nettstedet. User-agent-parameteren er å spesifisere robotene, i dette tilfellet med stjernen, vi peker på dem alle. Og Disallow er slik at de ikke får tilgang. I dette tilfellet, ved å gjøre en Disallow i /, kan ikke robotene få tilgang noe sted.

Kode:
Bruker agent: * Ikke tillat:

På den annen side, hvis vi lar Disallow stå tom, skjer ingenting. Roboter kan få tilgang til alt innhold.

Nå et annet eksempel

Kode:
Bruker agent: * Disallow: /contact.html. Disallow: /file.html

Denne følgende koden gjør at alle roboter ikke går gjennom contact.html eller file.html

Så har vi dette andre eksemplet som lar ingen robot passere gjennom nettstedet, bortsett fra Google-roboten

Kode:
Brukeragent: Google. Disallow: User-agent: *Disallow: /