Пример Роботс.ткт

Власници веб локација користе датотеку /роботс.ткт за давање упутстава о својој веб локацији ботовима са претраживача као што су Гоогле, Иахоо, Бинг итд.

Систем функционише једноставно, ако робот жели да посети УРЛ, на пример: https://www.ejemplode.com/ Пре него што то учините, погледајте https://www.ejemplode.com/robots.txt а његов садржај је фиксан. Кроз садржај роботс.ткт, ботовима је наложено да не индексирају или приступају одређеним датотекама. Може бити специфично, на пример, да неки ботови не улазе, али други улазе.

Постоје два важна разматрања приликом употребе /роботс.ткт:

• Роботи могу да игноришу ваш роботс.ткт. Нарочито ботови злонамерног софтвера који скенирају Веб на рањивости и скенери адреса е-поште који се користе за слање нежељене поште.
• Датотека роботс.ткт је јавно доступна. Свако може видети садржај вашег роботс.ткт

Зато немојте користити роботс.ткт да бисте сакрили информације. Уместо тога, користите га тако да одређени садржај на вашој веб локацији не буде индексиран.

 Ево неколико примера роботс.ткт са њиховим објашњењима

Шифра:
Кориснички агент: * Дисаллов: /

Овај код онемогућава свим роботима приступ било ком садржају на веб локацији. Параметар Усер-агент је да наведе роботе, у овом случају звездицом указујемо на све њих. А Дисаллов је тако да не могу да приступе. У овом случају, радећи Дисаллов у /, роботи не могу нигде да приступе.

Шифра:
Кориснички агент: * Забранити:

С друге стране, ако оставимо Дисаллов празним, ништа се неће догодити. Роботи могу да приступе било ком садржају.

Сада још један пример

Шифра:
Кориснички агент: * Онемогући: /цонтацт.хтмл. Онемогући: /филе.хтмл

Овај следећи код омогућава да сви роботи не пролазе кроз цонтацт.хтмл или филе.хтмл

Затим имамо још један пример који дозвољава пролазак било ког робота кроз веб локацију, осим Гооглеовог бота

Шифра:
Кориснички агент: Гоогле. Дисаллов: Кориснички агент: *Дисаллов: /