Уверены, что ваш Роботс идеален, закрывает все, что нужно и не блокирует лишнего? Я тоже так думала до недавних пор... Оказывается, многое из того, что добавляют в robots.txt, следуя примеру предшественников, не только не полезно, но порою даже вредно!

Узнайте о простых правилах заполнения этого важного файлика, сделав сканирование блога роботами намного эффективнее и устранив неадекватное