Зайдя на Ваш сайт поисковый робот первым делом ищет файл robots.txt. Сам файл представляет собой набор инструкций для поисковой машины, которые указывают что индексировать можно, а чего нельзя. Составить правильный robots.txt для wordpress очень и очень просто, файл создается по особым стандартам исключений для поисковых машин. но ничего сложного в этом нету. Подробнее о том как создать правильный robots.txt для wordpress можно прочитать на сайте seotimes.in.ua