Проблемы при индексации сайта

Дата: 13.08.2009
Рубрики: Поисковые машины | 1 Комментарий

Некоторые виды навигации может затруднить или полностью предотвратить индексацию сайта, а именно контента вашего веб-сайта. Пауки поисковых систем сканируют Интернет, опираясь на ссылочную структуру сайтов, чтобы найти новые документы и пересмотреть те, которые могут быть изменены. Сложная ссылочная структура и большой уровень вложенности структуры сайта с небольшим количеством уникального контента, может стать препятствием для качественной индексации сайта.

Бот который занимается индексацией сайта

Возможные препятствия для пауков при индексации сайта:

* URL-адреса с 2 и более динамическими параметрами, т.е.  http://www.url1.com/page.php?id=4&CK=34rr&mp=1;
(пауки могут не сканировать сложные URL-адреса, это потому, что они часто приводят к ошибкам при автоматическом сканировании)

* Страницы с более чем 100 уникальных ссылок на другие страницы сайта (паук может не обойти их все)

* Страницы более чем в 3 кликах от главной (если есть много других внешних ссылок, пауки часто игнорируют внутренние страницы)

* Страницы, требующие “Session ID” или Cookie для навигации

* Страницы с фреймами

* Страницы доступны только через форму и по нажатию кнопки

* Страницы, требующие выпадающего меню (HTML атрибут) для доступа к ним

* Документы доступны только через окно поиска

* Документы заблокированы (запрещенные к индексации) целенаправленно (с помощью метатега или файла robots.txt)

* Страницы, требующие логина (входа в закрытую часть сайта)

* Страницы, с редиректом (поисковики называют это клоакинг, за такое бывает и бан сайта)

Бот поисковика google индексирующий сайты

Чтобы проиндексировать сайт и его содержание, было полностью просканировано (проиндексировано) надо обеспечить прямые ссылки на каждую страницу, которая должна быть проиндексирована, роботом поисковой системы. Если страница не доступна с главной страницы (откуда большинство пауков могут начать сканирование), вполне вероятно, что такие страницы не будет индексироваться в поисковых системах. И еще, карта сайта может помочь в индексации сайта.

Комментарии

Один комментарий на запись “Проблемы при индексации сайта”

  1. Как работают поисковые системы интернета - поисковики. | SEO пульс 13.08.2009 01:30

    [...] 2. Индексирование сайтов, документов поисковиками [...]

Оставить комментарий