На самом деле , дорогие читатели ,знать о том, что такое индексация это только полдела. И мы не будем останаливаться на половине пути.
Самое главное, научиться управлять этой самой индексацией.
Самым простым инструментом, с помощью которого можно это сделать является файл robots.txt.
И сегодня наш разговор будет именно о нем.
Если вы «пройдетесь» по самым известным блогам , то увидите , что все они имеют файл robots.txt.