Robots.txt - файл в корне домена, предназначенный для поисковых систем. Основная его задача указать какие страницы и файлы индексировать нужно, а какие - нет. Почти на всех сайтах есть информация не проедназначенная для индексирования, для этого существуют команды Allow и Disallow.
Подробнее о роботс.тхт от Гугл и Яндэкс.

Внешнее продвижение любого сайта начинается с регистрации сайта в поисковых системах. Для этого вам нужно зарегистрироваться в каждой из них(завести почтовый ящик). Процесс регистрации сайта в поисковой системе везде одинаковый. Нужно указать домен сайта, а после выложить в корень своего домена файл, который даст поисковая система. Нажать кнопочку подтвердить размещение файла, и... сайт подан для анализа...

Процесс поисковой оптимизации сайта начинается прежде всего с оптимизации внутреннего наполнения сайта. Это очень важный этап которому стоит уделить повышенное внимание т.к. внутренняя оптимизация это фундамент для последующей.
Название сайта и девиз выбирайте очень внимательно. т.к. обычно их размещают на всех страницах сайта. Не будет лишним если в названии или девизе будет участвовать один из ключевых запросах для сайта. Заголовки и названия страниц указываемые с помощью тегов <title> и <h1> - один из самых важных моментов. Эти теги должны содержать ключевой запрос по которому продвигается страница (в идеале под каждый поисковый запрос нужна своя страница).

Не буду писать что такое поисковые системы в представлении простого пользователя. Скорее всего этот сайт вы нашли в одной из них, и значит, не только знаете что это такое, но и умеете ими пользоваться. :)
Однако от их перечисления в порядке значимости для рунета, все-таки, не откажусь.