Мэтт Каттс руководитель группы Google Webspam ответил на вопрос по теме игнорирования ботами Google, инструкций прописанных в файле robots.txt
Страница запрещенная к индексации может появиться в результатах поиска поисковой системы Google без снипета – это означает что бот не обходит данную страницу. Информация о закрытых страницах может содержаться на других ресурсах которые и становятся источниками данных о закрытых страницах для ботов Google.
Таким образом любая служебная страница может быть найдена, решение которое предлагает Мэтт Каттс состоит в использовании мета-тэга “noindex”, либо инструмент URL removal tool в том случае, если она уже там.
P.S.
Хорошая офисная мебель на все случаи жизни!
Популярность: 1%
Читайте также
Понравился пост, не стесняйся - подпишись на рассылку RSS!
Загрузка ...
Комментарии