Удаление сайта

Для удаления сайта из поисковой системы LetSearch.ru следует запретить его индексирование, добавив в файл robots.txt следующие строки:

  User-agent: LetsearchBot
  Disallow: /

При очередном обходе сайта робот LetSearch.ru загрузит файл robots.txt и, eсли индексация сайта будет запрещена, удалит его из поискового индекса.

Робот считает, что индексирование сайта разрешено, если:

• файл robots.txt отсутствует или не является текстовым
• файл robots.txt недоступен — ответ на запрос робота отличается от HTTP-кода со статусом 200 OK