Настройки robotxs.txt 4

Автор Denis_Chuprina    0 коммент. »

Теперь приступим к рассмотрению дополнительных функций и команд. Для кого-то они могут быть полезны. Мы запретим доступ к некоторым файлам, с помощью шаблона.

Как вы помните, мы ставили звездочку, чтобы дать команду всем роботам. Звездочка означает «любой», то есть любой поисковой бот, который зайдет на сайт, не должен индексировать эти страницы. Поэтому для запрета определенного файла нужно ставить звездочку. Здесь есть один нюанс. Можно запретить один файл, указав его имя и путь, а можно запретить несколько файлов, которые похожи друг на друга.

Рассмотрим этот случай на примере закрытия доступа к картинкам. Допустим, все картинки имеют расширение jpg. Если хотим закрыть их, нужно указать путь к картинкам и написать шаблон *jpg. Это означает, что у запрещаемого файла имя может быть любым, а расширение только jpg. В самом файле robots.txt это пишется так:

disallow: /images/*.img

Таким образом, можно закрыть определенные файлы. Файлы других расширений будут индексироваться, например, в нашем случае поисковики проиндексируют картинку с расширением png, потому что для него нет никаких запретов. Команда со звездочкой называется шаблон, другие шаблоны можете найти в интернете.

Если Вы хотите отдохнуть, то мы советуем Вам отдых возле Феодосии. Все подробности смотрите на сайте www.feodosiya-otdyh.com