Robots.txt - файл в корне домена, предназначенный для поисковых систем. Основная его задача указать какие страницы и файлы индексировать нужно, а какие - нет. Почти на всех сайтах есть информация не проедназначенная для индексирования, для этого существуют команды Allow и Disallow.
Подробнее о роботс.тхт от Гугл и Яндэкс.