Robots.txt eksempel

Webstedsejere bruger filen /robots.txt til at give instruktioner om deres websted til bots fra søgemaskiner som Google, Yahoo, Bing osv.

Systemet fungerer enkelt, hvis en robot vil besøge URL'en for eksempel: https://www.ejemplode.com/ Inden du gør det, tjek ud https://www.ejemplode.com/robots.txt og dens indhold er fast. Gennem robots.txt-indholdet bliver bots instrueret i ikke at indeksere eller få adgang til bestemte filer. Det kan for eksempel være specifikt, at visse bots ikke kommer ind, men andre gør det.

Der er to vigtige overvejelser, når du bruger /robots.txt:

• Robotter kan ignorere din robots.txt. Især malware-bots, der scanner nettet for sårbarheder, og e-mailadressescannere, der bruges til at sende spam.
• Robots.txt-filen er offentligt tilgængelig. Alle kan se indholdet af din robots.txt

Så brug ikke robots.txt til at skjule oplysninger. Brug det snarere, så bestemt indhold på dit websted ikke indekseres.

 Her er flere eksempler på robots.txt med deres forklaring

Kode:
Brugeragent: * Disallow: /

Denne kode gør, at alle robotter ikke kan få adgang til noget indhold på webstedet. User-agent parameteren er at specificere robotterne, i dette tilfælde med stjernen, vi peger på dem alle. Og Disallow er så de ikke kan få adgang. I dette tilfælde kan robotterne ikke få adgang nogen steder, hvis de laver en Disallow i /.

Kode:
Brugeragent: * Tillad ikke:

På den anden side, hvis vi efterlader Disallow tom, sker der ikke noget. Robotter kan få adgang til ethvert indhold.

Nu endnu et eksempel

Kode:
Brugeragent: * Disallow: /contact.html. Disallow: /fil.html

Denne følgende kode gør, at alle robotter ikke går gennem contact.html eller file.html

Så har vi dette andet eksempel, der tillader ingen robot at passere gennem webstedet, undtagen Google-bot

Kode:
Brugeragent: Google. Disallow: User-agent: *Disallow: /