Почему не индексируется сайт? 12 распространенных причин


Бывают ситуации, когда, потратив уйму времени и средств на разработку сайта, брендирование, создание стратегии продвижения и прочие вещи, Ваш свежесозданный ресурс никак не хочет попадать в поисковую выдачу. Многие, не разобравшись в сути проблемы, спешат менять доменное имя и несут дополнительные расходы, связанные с перерисовкой логотипов и изменением шаблона. Но что делать, если Вам нужен именно этот домен и вариант переезда Вас не устраивает, как узнать почему не индексируется сайт? 12 распространенных причин, приведенных в статье, помогут Вам разобраться с этим вопросом.

1. Поисковые роботы еще не нашли Ваш ресурс

Зачастую, такая ситуация наблюдается, когда Вы разместили Ваш сайт в сети и сидите в ожидании прихода поисковых роботов. Скорее всего Ваш сайт, когда ни будь проиндексируют, но это может произойти и через несколько месяцев. Если Вы рассчитываете на быструю индексацию сайта – добавьте его в базу данных поисковиков и в сервисы Yandex Webmaster + Google Webmaster. После того, как Вы добавите свой ресурс в эти базы – Ваш сайт, с вероятностью 99%, проиндексируется в течении недели.

2. Поисковый робот ограничен правилами robots.txt

Бывают ситуации, когда поисковые роботы не могут проиндексировать Ваш ресурс из-за содержания файла robots.txt. Возможно, разработчики забыли убрать запрет на индексацию после сдачи проекта. Если у Вас нет большого количества технических разделов – Ваш robots.txt должен выглядеть примерно так:

index-prob1

Даже, если технических разделов с десяток – лучше один раз прописать их в robots.txt с атрибутом Disallow, а все остальное оставить доступным для индексации.

3. Настройки приватности Вашей CMS

Чаще всего, такая ситуация случается с владельцами сайтов на WordPress. Если Вы случайно включили в админ панели настройки приватности либо же забыли их выключить – это вполне может стать причиной того, что до сих пор не индексируется сайт.  Для отключения запрета зайдите в Настройки -> Чтение -> Видимость для поисковых систем и разрешите поисковым роботам сканировать Ваш ресурс.

index-prob2-615x171-custom

Это выглядит банально, но подобная проблема встречается очень часто.

4. Запрет на индексацию сайта прописан тегом noindex

Индексация сайтов может быть запрещена не только в robots.txt, но и в коде страницы. Для этого, достаточно разместить в мета тегаг noindex. Пример скрытия страницы из индекса выглядит так:

<meta name=»robots» content=»no index, nofollow»>

Не велика потеря, если этот атрибут прописан только на одной странице (но не на посадочной). Все становится гораздо хуже, если Вы используете шаблонизатор и тег прописан в статической части шаблона. В таком случае – Вы можете запретить индексировать весь ресурс.

Проверьте код Вашего ресурса на наличие тега noindex и, в случае необходимости, меняйте его на index и follow.

index-prob4-659x136-custom

На практике подобные случаи встречаются очень редко.

5. Частые ошибки при сканировании сайта

Если поисковый робот часто сталкивается с ошибками при сканировании Вашего ресурса – он может либо полностью приостановить граббинг страниц сайта, либо же получить не все ссылки, соответственно, не просканировать все страницы сайта.

Инструменты для вебмастеров от Google и Yandex сообщают об ошибках при сканировании. Внимательно отнеситесь к этому показателю и постарайтесь исправить ситуацию.

index-prob3-600x228-custom

6. Запрет на доступ к сайту в .htaccess

Зачастую, файл .htaccess служит для контроля доступа к системным директориям интернет ресурса или для оформления 301 перенаправления. Тем не менее, если у Вас не индексируется сайт, загляните в вышеназванный файл. В нем может быть прописан запрет на доступ ко всему сайту.

7. Нестабильная работа сервера или виртуального хостинга

Зачастую, такой проблемой страдают дешевые провайдеры, предоставляющие услуги хостинга. Сервера подобных компаний часто перегружены, что сулит Вам не только огромное количество сомнительных соседей, но и частую недоступность сайта. Если поисковый робот посетил Ваш ресурс и не смог его проиндексировать — для повторной попытки он вернется не скоро. В таком случае, Вам следует позаботиться о том, чтобы uptime Вашего ресурса был в пределах нормы. Инструмент «Яндекс Метрика» умеет оповещать о недоступности Вашего сайта. Помимо «Яндекс Метрика» есть множество подобных сервисов, ориентированных на контроль работы интернет ресурсов. Для оперативного реагирования, рекомендуем настроить SMS уведомления о недоступности Вашего сайта.

index-prob5-606x82-custom

8. Проблемы Javascript или Ajax

Ни для кого не секрет, что поисковая система Google уже умеет индексировать AJAX и JavaScript файлы. Это описано в официальной документации поисковика. Тем не менее, в данный момент у поисковика все еще наблюдаются трудности с правильной обработкой этих файлов. Свою роль здесь отигрывает и сжатие js файлов и ошибки в синтаксисе.

Для того, что бы поисковая система правильно индексировала вышеназванные типы файлов – следует придерживаться официальных рекомендаций, которые Вы можете найти по адресу: https://support.google.com/webmasters/answer/174993

9. Большой объем дублирующегося контента

Дублирующийся контент может не только заставить поискового бота прекратить индексацию, но и привести к санкциям со стороны поисковых систем. Обратите внимание на то, что проверяются дубли не только текстового содержания, но и мета тегов.

index-prob6-631x216-custom

10. Медленная загрузка сайта

Скорость загрузки Вашего сайта является важным фактором, который влияет на поисковое ранжирование. Если Ваш сайт загружается долго, то скорее всего, поисковый робот пропустит часть страниц и не будет их индексировать.

index-prob7-619x343-custom

11. Вы купили домен, который был ранее забанен

Перед покупкой домена всегда стоит проверять его историю. Он может быть созвучным, круто выглядеть, но в то же время, может находится в бане поисковых систем.  В данном случае Вас спасет только официальное обращение в Яндекс, Google + активное развитие сайта контентом. Санкции не вечны, но на снятие санкций может потребоваться много времени. Если домен не вышел из под фильтра в течении 3-4 месяцев, Вам лучше подыскать другой адрес для сайта.

index-prob8-605x359-custom

12. У Вас отсутствует карта сайта

Эта причина встречается крайне редко. Тем не менее, встречаются и такие случаи. Помимо всего прочего, карта сайта всегда положительно влияет на скорость и качество индексации Вашего ресурса поисковиками. Если у Вас долго не индексируется сайт – создайте карту сайта и добавьте ее самостоятельно в Google Webmaster и Яндекс.

Вместо заключения

Индексация сайта – важный процесс, который в итоге обеспечит Вам 50-70% всего трафика, поэтому, если Ваш сайт не индексируется поисковыми системами – нужно ответственно отнестись к этому вопросу, найти проблему и устранить ее.

Андрей Титовец

Специалист по комплексному продвижению at Маркетинговое агентство E-art
Работаю в сфере интернет-маркетинга уже более шести лет.

Опубликовано в:
О авторе

Андрей Титовец

Работаю в сфере интернет-маркетинга уже более шести лет.