Роботс.ткт пример

Власници веб локација користе датотеку /роботс.ткт да дају упутства о својој веб локацији ботовима из претраживача као што су Гоогле, Иахоо, Бинг итд.

Систем функционише једноставно, ако робот жели да посети УРЛ, на пример: https://www.ejemplode.com/ Пре него што то урадите, проверите https://www.ejemplode.com/robots.txt а његов садржај је фиксан. Преко садржаја роботс.ткт, ботови добијају упутства да не индексирају или приступају одређеним датотекама. Може бити специфично, на пример, да неки ботови не улазе, али други улазе.

Постоје два важна разматрања када користите /роботс.ткт:

• Роботи могу да игноришу ваш роботс.ткт. Нарочито ботови злонамерног софтвера који скенирају веб у потрази за рањивостима и скенери е-маил адреса који се користе за слање нежељене поште.
• Датотека роботс.ткт је јавно доступна. Свако може да види садржај вашег роботс.ткт

Зато немојте користити роботс.ткт да сакријете информације. Уместо тога, користите га тако да одређени садржај на вашем сајту не буде индексиран.

 Ево неколико примера роботс.ткт са њиховим објашњењем

код:
Кориснички агент: * Дисаллов: /

Овај код чини да сви роботи не могу да приступе било ком садржају на сајту. Параметар Усер-агент је да одреди роботе, у овом случају са звездицом, указујемо на све њих. А Дисаллов је тако да не могу да приступе. У овом случају, радећи Дисаллов у /, роботи не могу нигде да приступе.

код:
Кориснички агент: * Забранити:

С друге стране, ако оставимо Дисаллов празан, ништа се неће догодити. Роботи могу приступити било ком садржају.

Сада још један пример

код:
Кориснички агент: * Дисаллов: /цонтацт.хтмл. Дисаллов: /филе.хтмл

Овај следећи код чини да сви роботи не пролазе кроз цонтацт.хтмл или филе.хтмл

Затим имамо овај други пример који не дозвољава ниједном роботу да прође кроз сајт, осим Гоогле бота

код:
Кориснички агент: Гоогле. Дисаллов: Усер-агент: *Дисаллов: /