Иногда может возникнуть необходимость убрать из поисковой выдачи ненужные страницы Вашего сайта и заблокировать доступ сканеров к содержимому. Например, страницы, на которых случайно попала персональная информация. В таком случае есть ряд мер, которые можно предпринять, чтобы удалить адрес со страниц поисковой выдачи поисковых машин.
Рекомендуемые методы.
1. .htaccess
Для того чтобы запретить роботу или кому-либо другому доступ к URL, можно страницу или целую папку защитить паролем. Робот не занимается подбором пароля, поэтому это сделает доступ невозможным.
Для этого создаем в корневом каталоге сайта файл с названием “.htaccess”, и прописываем в него такой код чтобы запретить доступ к каталогу:
AuthUserFile /full/path/to/.htpasswd
AuthType Basic
AuthName "Секретный каталог"
Require valid-user
и такой если требуется закрыть определенный файл:
AuthUserFile /full/path/to/.htpasswd
AuthType Basic
AuthName "Секретная страница"
Require valid-user
Далее надо создать файл “.htpasswd” в котором будут хранится логин и пароль для доступа к закрытым каталогая или файлам в таком виде:
login:password
2. URL Removal Tool
Этот инструмент доступен на панели инструментов Google для веб-мастеров так что вы можете занести необходимый адрес в Google чтобы робот не индексировал URL. Кроме того, вы можете удалить весь домен, подкаталог или отдельный URL. Одним из недостатков этого метода является то, что иногда это занимает несколько дней.
тоже самое у Яндекса.
Альтернативные методы.
3. robots.txt
Вы можете запретить роботам доступ к URL в файле robots.txt который находится в корневом каталоге сайта. Проблемой этого метода является то, что Google и другие поисковые системы могут найти Ваш URL, если кто-то поставит ссылку на эту страницу.
Для этого надо создать файл robots.txt в корневой директории сайта с таким кодом:
User-agent: Yandex - бот Яндекса.
User-agent: Googlebot - бот Гугл.
User-agent: Googlebot-Image - бот картиночник Гугл.
User-agent: * - для всех ботов.
Allow: / - разрешить доступ ко всему
Allow: /wp-admin/ - разрешить доступ к папке
Allow: /wp-login.php - разрешить доступ к файлу
Disallow: / - запретить доступ ко всему
Disallow: /wp-admin/ - запретить доступ к папке
Disallow: /wp-login.php - запретить доступ к файлу
Пример
User-agent: Googlebot-Image
Disallow: /images/image.jpg
- этот код запрещает доступ к файлу картинке для бота картинок Гугл.
4. noindex
Использование этого мета-тега представляет собой простой метод, который ограничивает доступ к странице сканерам, но это касается робота Google и Ядекска, с другими поисковиками этот метод может не работать.
Пишем этот код
<meta name=”robots” content=”noindex” />
между тегами head и страница не будет индексировать.
<noindex>Этот текст не будет проиндексирован.</noindex>
Также есть атрибут nofollow – но практически толку от него мало. И отсутствии внешних ссылок на страницу ботам она будет не доступна.
P.S.
Решили приобрести авто, сейчас самое время – каталог авто информация газеты объявлений “Из рук в руки”.
P.S. 2
Вас интересуют большие машины, техника для карьеров – супермощная и суперпроизводительная и в тоже время экономная.
Популярность: 18%
Читайте также
Понравился пост, не стесняйся - подпишись на рассылку RSS!
Загрузка ...
Многим ботам robots.txt – не указ.
to Ночной Гость: Поэтому робот находится в альтернативных методах!
“URL Removal Tool”
будет работать только в случае отдачи кода 404 – для Яндекса уж точно, если просто из выдачи удалить хочется, при странице отдающей код 200, то этот вариант не подходит.
Возникла следующая ситуация: на разных сайтах, в том числе, порно, были дублированы мои сообщения из вконтакте (из разных групп). Теперь они выводятся при вводе в поисковых системах моего имени/фамилии. Похоже, частично это был вирус-бот у кого-то в друзьях, частично – кража контента для раскрутки кем-то из групп..
Я не сильно разбираюсь в программировании.)) Помогите, или объясните, пожалуйста, доступным языком, как сделать так, чтобы это либо исчезло с сайтов, либо хотя бы перестало отображаться в поиске…(написала жалобы на нарушения в гугл и яндекс, но похоже это бесполезно)