Настройки robots.txt 3

Автор Denis_Chuprina    0 коммент. »

В реальной ситуации все немого сложнее. Все CMS, будь то joomla или wordspress, имеют папку, где хранятся временные файлы. Допустим, вы целый день работали над сайтом, добавляли новые записи, вставляли картинки, а в это время CMS добавляет в папку временные файлы. Эту информацию поисковики не должны индексировать, так как ничего ценного в ней нет. Поэтому лучше закрыть эту папку от индексации.

Если не закрыть временные файлы, то поисковые машины могут принять это за спам. Чтобы не навредить сайту, мы просто запретим индексацию этой папки и всех ее файлов. Предположим, что все временные файлы движка находятся в папке temp, а она в свою очередь в папке cms. В таком случае, в файле robots.txt нужно задать такие настройки:

user-agent: *
dissalow: /cms/temp

Мы закрыли доступ только к папке temp. Обратите внимание, что все остальные папки будут индексироваться. Запрет коснется лишь папки с временными файлами, которая не нужна ни поисковикам, ни посетителям. На работу сайта этот запрет не повлияет, даже наоборот, поисковики будут лучше обрабатывать страницы сайта, ведь им больше не придется ходить по папкам с временными файлами, а значит, они больше времени будут уделять нужным страницам.

Популярный интернет-проект о интернет новостях Товейв. Заходите не пожалеете www.towave.ru